集搜客GooSeeker网络爬虫

标题: 爬虫的超时时长一般设置多少合适 [打印本页]

作者: 马涌河畔 时间: 2020-7-13 16:28
标题: 爬虫的超时时长一般设置多少合适
爬虫的超时时长一般设置多少合适？

作者: 内容分析应用 时间: 2020-7-13 16:31
一般设置为60，就是60秒。
对于大多数网页，这个超时时长值就没问题

作者: 内容分析应用 时间: 2020-7-13 16:33
超时时长通常不影响速度，一般不要少于60s
如果设置的太小，比如5秒，那么可能网页还没有加载完全，就执行抓取然后结束了，这种情况可能会丢数据

欢迎光临集搜客GooSeeker网络爬虫 (http://120.55.75.51/doc/)