集搜客GooSeeker网络爬虫

标题: 豆瓣电影评论没法抓取 [打印本页]

作者: sshangren 时间: 2024-9-3 12:56
标题: 豆瓣电影评论没法抓取
我想抓取豆瓣电影短评的数据，结果试了几次都什么也没有抓到。是工具被禁了吗？

作者: Fuller 时间: 2024-9-3 15:17
快捷采集有两个，一个是豆瓣_电影短评，另一个是豆瓣_电影影评。两个所用的样本页面是不一样的。前者的网址是 xxx/comments，后者的网址是 xxx/reviews

你检查一下添加的网址对吗？我刚才使用样本网址测试了，采集都是正确的。如果翻页的时候出现 “加载中”说明网络速度太慢或者网站暂时性拥塞，要重新采集

作者: sshangren 时间: 2024-9-3 20:11
嗯嗯，原来是反映太迟钝，不过采集下来每次就100个数据，是被限制了吗

作者: Fuller 时间: 2024-9-3 20:46
采集之前，在数据管家打开douban并登录一个douban账号，会采集更多

作者: sshangren 时间: 2024-9-5 21:15

Fuller 发表于 2024-9-3 20:46
采集之前，在数据管家打开douban并登录一个douban账号，会采集更多

是多了一些，这次用了半天数个小时时间，一直没去关掉，结果采了400条，但对于总共的数万条短评来说没有实际意义。。。

作者: Fuller 时间: 2024-9-5 22:18
douban网站上只有这么多，只能看到几百条

作者: sshangren 时间: 2024-9-7 15:35

Fuller 发表于 2024-9-5 22:18
douban网站上只有这么多，只能看到几百条

哦，有点明白了

欢迎光临集搜客GooSeeker网络爬虫 (http://120.55.75.51/doc/)