爬虫群采集要怎样做才能避免封锁ip？ - 集搜客GooSeeker网络爬虫

大家用爬虫群要注意一点：为了避免封锁ip，请控制好爬虫数量（最大允许运行爬虫数）
如果是同一个抓取规则，同一台计算机建议允许2个爬虫窗口，防止被封锁
如果同一个规则要在不同计算机上抓取，要给每台计算机起爬虫名字（在DS打数机文件菜单->爬虫名字中修改），这样每台计算机就会分别运行最多2个爬虫窗口；如果名字相同，就当成同一台了，只能运行到2个爬虫窗口。

如果遇到限制访问的情况，请参考这篇文章解决http://www.gooseeker.com/doc/thread-676-1-1.html

幸福的地铁发表于 2020-3-16 17:10
最近采集电商数据，在这里搜索了相关文章，这篇文章超有用，顶一个。