集搜客GooSeeker网络爬虫

标题: 为什么不能一直循环爬下去 [打印本页]

作者: Easec888 时间: 2020-11-4 13:25
标题: 为什么不能一直循环爬下去
任务名：Easec-证券公司详细信息公司-第1级；Easec-证券公司详细信息公司-第2级-基本信息

作者: maomao 时间: 2020-11-4 14:55
没有这个名字的规则，是不是把名字弄错了？

作者: maomao 时间: 2020-11-4 15:51
本帖最后由 maomao 于 2020-11-4 18:11 编辑

因为你要重复回到第一个规则，在同一个页面抓取数据，所以爬虫可能会判定为重复页面。重复3次，爬虫就中断跳出了。所以在打数机，把高级-终点标志-重复内容取消掉。

[attach]13220[/attach]

欢迎光临集搜客GooSeeker网络爬虫 (http://120.55.75.51/doc/)