集搜客GooSeeker网络爬虫

标题: B站会员购评论瀑布流不能下拉 [打印本页]

作者: 17853145082 时间: 2021-3-18 19:07
标题: B站会员购评论瀑布流不能下拉
视频啥的评论都行，就这个不行。。。

作者: Fuller 时间: 2021-3-18 19:26
网址是什么？

作者: Fuller 时间: 2021-3-18 19:27
另外，爬虫软件版本升级很快，经常更新一下，下载最新版本并安装：https://www.gooseeker.com/pro/gooseeker.html

作者: 17853145082 时间: 2021-3-19 11:45
https://mall.bilibili.com/commentlist.html?noTitleBar=1&goFrom=na&shopId=2233&itemsId=10035460&recId =

作者: 17853145082 时间: 2021-3-19 11:46
网址是这个

作者: 17853145082 时间: 2021-3-19 12:37
https://mall.bilibili.com/commentlist.html?noTitleBar=1&goFrom=na&shopId=2233&itemsId=10035460&recId%20=#noReffer=true

作者: wangyong 时间: 2021-3-19 14:17
这个网址我们在测试了

作者: Fuller 时间: 2021-3-19 16:21
这个网站需要旗舰版的滚轮功能采集采集。老版本（V9）已经有滚轮功能了，新版本要在V10.6.0版本提供。下周发布

作者: 17853145082 时间: 2021-3-19 16:42

Fuller 发表于 2021-3-19 16:21
这个网站需要旗舰版的滚轮功能采集采集。老版本（V9）已经有滚轮功能了，新版本要在V10.6.0版本提供。下周 ...

我买了旗舰版了，但还是设置不好

，您能帮帮我吗

作者: 17853145082 时间: 2021-3-19 16:43

wangyong 发表于 2021-3-19 14:17
这个网址我们在测试了

好的，谢谢您

作者: Fuller 时间: 2021-3-19 17:41

17853145082 发表于 2021-3-19 16:42
我买了旗舰版了，但还是设置不好，您能帮帮我吗

1，要安装老版爬虫软件
首先，要下载老版本的网络爬虫：https://www.gooseeker.com/pro/product.html
2，定义滚轮动作
在老版网络爬虫上定义滚轮类连续动作，跟滚屏不一样，滚轮动作要设置一个鼠标放置的区域，在那个区域上滚轮子，具体参看教程：https://www.gooseeker.com/doc/article-408-1.html

针对这个网页，滚轮的区域应该是下图红框内的。根据网页上的滚动条区域确定滚轮区域。那么就在定位表达式中填入这个xpath。注意以下几点：
1. 截图上的滚动条我用蓝色圈起来了，可以看到这个滚动条是在网页某个区域的，不是整个窗口的，这种就要用滚轮
2. 我选择了这个区域中的顶上那块（黄色背景）作为滚轮区域。为他生成xpath，填入定位表达式那里
3. 滚屏类型的话，每次滚多少屏，滚轮类型的话，每次滚多少像素，要根据你的屏幕大小估计。比如，高度方向，笔记本电脑可能有800像素，那么一次滚1200像素比较合适。太大了就不滚了。

[attach]13969[/attach]

3. 运行爬虫
要注意首先要关闭DS大数机的自动滚屏，再运行这个任务。如下图，选择滚屏参数菜单，把滚屏次数设置成0
[attach]13970[/attach]

作者: 17853145082 时间: 2021-3-19 18:27
好的谢谢你
我又搞了一下，他只滚一次就结束了，显示没有定义下级抓取规则

作者: scraper 时间: 2021-3-19 18:29

17853145082 发表于 2021-3-19 16:42
我买了旗舰版了，但还是设置不好，您能帮帮我吗

你现在编辑的采集规则名是什么，我们检查一下

作者: 17853145082 时间: 2021-3-19 18:30

scraper 发表于 2021-3-19 18:29
你现在编辑的采集规则名是什么，我们检查一下

集搜客会员购滚轮等级

作者: Fuller 时间: 2021-3-19 18:35

17853145082 发表于 2021-3-19 18:30
集搜客会员购滚轮等级

滚轮和滚屏都一样，下级规则的名字跟当前级一样

作者: 17853145082 时间: 2021-3-19 18:40

Fuller 发表于 2021-3-19 18:35
滚轮和滚屏都一样，下级规则的名字跟当前级一样

是不能一样吗滚轮和滚屏的名字？下级规则的名字跟当前级一样是什么意思呀？小白不太懂

作者: Fuller 时间: 2021-3-19 18:43

17853145082 发表于 2021-3-19 18:40
是不能一样吗滚轮和滚屏的名字？下级规则的名字跟当前级一样是什么意思呀？小白不太懂 ...

红框这里填下一级规则名，填成跟当前规则名一样
[attach]13971[/attach]

作者: 17853145082 时间: 2021-3-19 18:59

Fuller 发表于 2021-3-19 18:43
红框这里填下一级规则名，填成跟当前规则名一样

终于可以了！！！万分感谢！

作者: 17853145082 时间: 2021-3-20 13:01

17853145082 发表于 2021-3-19 18:59
终于可以了！！！万分感谢！

重新设计了一个，又不行了。。。
任务名叫：会员购继续疯狂
可以帮我看看嘛

作者: Fuller 时间: 2021-3-20 16:36

17853145082 发表于 2021-3-20 13:01
重新设计了一个，又不行了。。。
任务名叫：会员购继续疯狂
可以帮我看看嘛

我用这个定位表达式是可以的：//*[@class='scroll-container']

这个xpath表示整个有滚动条的那个区域

欢迎光临集搜客GooSeeker网络爬虫 (http://120.55.75.51/doc/)