集搜客GooSeeker网络爬虫

标题: 有什么办法能让爬虫在中断的地方继续爬数据吗 [打印本页]

作者: 扶风 时间: 2017-12-6 09:41
标题: 有什么办法能让爬虫在中断的地方继续爬数据吗

网速太慢导致爬虫爬到一半浏览器加载不出来就停止采集了，有什么办法能让爬虫在中断的地方继续爬数据吗

作者: shengchengx 时间: 2017-12-6 09:42
解决方法：
1）如果是翻页采集，而且每一页都有独立网址，那么可以把断掉的下一页网址重新添加线索，就能从断开的地方作为起点采集。

2）但如果页码网址是不变的话，这种只能激活线索后重新开始采集了。
对于有页码输入框的翻页，有一个解决方法：在规则里通过连续动作设置 “点击、输入页码” 的动作，参看连续动作教程http://www.gooseeker.com/doc/article-141-1.html

3）不是翻页采集的话，有多条线索网址，再次采集时会自动从下条线索网址开始的。

作者: wqq5753 时间: 2020-12-28 09:43

shengchengx 发表于 2017-12-6 09:42
解决方法：
1）如果是翻页采集，而且每一页都有独立网址，那么可以把断掉的下一页网址重新添加线索，就能从 ...

那如果是单条线索的网页呢

作者: Fuller 时间: 2020-12-28 10:15

wqq5753 发表于 2020-12-28 09:43
那如果是单条线索的网页呢

没有独立网址的话，比如，微博的评论，中间中断了只有从头重新采集了

欢迎光临集搜客GooSeeker网络爬虫 (http://120.55.75.51/doc/)