集搜客GooSeeker网络爬虫

标题: 怎么调整数据DIY模式的采集速度？ [打印本页]

作者: mamaise 时间: 2017-7-30 11:53
标题: 怎么调整数据DIY模式的采集速度？
内容如题。是不是只能调整自建规则的采集速度。另外数据DIY模式，我启动了10个爬虫窗口，但只有2个工作。是不是也只有自建规则能调整？

作者: gz51837844 时间: 2017-7-30 12:40
自己原创的规则，或者是下载的规则，可以自由调整采集速度和并行爬虫数
数据DIY和微博工具的是设置好的一套公共参数，综合考虑了速度，应对反扒等因素，是供所有人使用的，使用者不能自己做调整

作者: mamaise 时间: 2017-7-30 13:08

gz51837844 发表于 2017-7-30 12:40
自己原创的规则，或者是下载的规则，可以自由调整采集速度和并行爬虫数
数据DIY和微博工具的是设置好的一套 ...

所以说DIY的最大并行爬虫数只有2吗？

作者: gz51837844 时间: 2017-7-30 16:40

mamaise 发表于 2017-7-30 13:08
所以说DIY的最大并行爬虫数只有2吗？

不同网站设置不一样，一般是2到4个

欢迎光临集搜客GooSeeker网络爬虫 (http://120.55.75.51/doc/)