集搜客GooSeeker网络爬虫

标题: 新浪微博评论查看更多翻页问题，求大神指导！ [打印本页]

作者: promise 时间: 2017-6-21 08:53
标题: 新浪微博评论查看更多翻页问题，求大神指导！
本帖最后由 wangyong 于 2020-12-23 12:09 编辑

新浪微博里面评论要点击查看更多来翻页，为什么设置好规则，想爬取全部评论，但点了三次以后自动就停止了，还显示了采集完成？

作者: shengchengx 时间: 2017-6-21 09:30
自己做的规则么？规则名？

作者: promise 时间: 2017-6-21 09:38

shengchengx 发表于 2017-6-21 09:30
自己做的规则么？规则名？

对的自己做的。规则名：评论test1。经常把映射做完做记号线索的时候就会显示页面结构变了，但是如果先做了记号线索，爬出来的就只有点了两到三次查看更多后的评论数据

作者: shengchengx 时间: 2017-6-21 10:29

promise 发表于 2017-6-21 09:38
对的自己做的。规则名：评论test1。经常把映射做完做记号线索的时候就会显示页面结构变了，但是如果先做 ...

改用模拟点击来做吧
《连续动作的模拟点击》
[attach]6816[/attach]
然后设置重复次数为0，这样就可以循环到抓取到所有的评论
[attach]6817[/attach]

作者: promise 时间: 2017-6-21 11:15

shengchengx 发表于 2017-6-21 10:29
改用模拟点击来做吧
《连续动作的模拟点击》

规则爬到就会遇到这种情况，重复的爬同一批，这是怎么回事呢

作者: shengchengx 时间: 2017-6-21 11:21

promise 发表于 2017-6-21 11:15
规则爬到就会遇到这种情况，重复的爬同一批，这是怎么回事呢

转换成Excel表格之后，用Excel做一个去重就好了

作者: wangyong 时间: 2020-12-23 12:09
[attach]13449[/attach]
在集搜客微博采集工具箱中有微博评论采集的入口，输入博文链接就可以采集这条微博下的评论，不需要另做采集规则
数据展示：
[attach]13450[/attach]

使用微博工具箱前，可以先下载集搜客数据管家：https://www.gooseeker.com/pro/gooseeker.html，通过左侧工具条可以进入微博采集工具箱
[attach]13451[/attach]

欢迎光临集搜客GooSeeker网络爬虫 (http://120.55.75.51/doc/)