集搜客GooSeeker网络爬虫

标题: 怎么采集指定博主，指定时间范围，指定关键字且展开全文的所有微博？ [打印本页]

作者: Philomum 时间: 2021-4-20 23:23
标题: 怎么采集指定博主，指定时间范围，指定关键字且展开全文的所有微博？
新人求教，如题

作者: Fuller 时间: 2021-4-21 09:26
在博主主页，有搜索功能，可以指定时间和关键词搜索，会得到搜索后的链接[attach]14138[/attach]　　　　[attach]14140[/attach]

把这个链接添加到博主主页快捷工具，选择页数，爬取数据。注意爬取之前，要在爬虫浏览器登陆微博账号。

或者把这个链接添加到微博工具箱的博主主页工具，选择“通过链接翻页看到的全部微博“，爬取数据。

[attach]14141[/attach]

作者: 内容分析应用 时间: 2021-4-21 09:31
本帖最后由内容分析应用于 2021-4-21 09:36 编辑

您这个需求，可以用微博工具箱里的微博博主主页工具，配合另一个快捷采集工具(微博博文展开全文采集)一起使用
具体使用方法如下：
1. 打开微博工具箱里面的微博博主主页工具。如果你要采集的博主的文章超过了50页，那就选择采集“全部历史微博”，如果不超过50页，就选择“通过链接翻页看到的全部微博”
[attach]14142[/attach]

作者: 内容分析应用 时间: 2021-4-21 09:34
本帖最后由内容分析应用于 2021-4-21 09:37 编辑

2. 采集下来的博文，有部分因为篇幅长字数多，而没有显示全，需要在excel里根据“展开全文”把这部分文章挑选出来，把网址添加到微博博文展开全文采集这个快捷采集
这个快捷采集会点开“展开全文”后采集到全部文本

欢迎光临集搜客GooSeeker网络爬虫 (http://120.55.75.51/doc/)