集搜客GooSeeker网络爬虫

标题: 微博展开原文 [打印本页]

作者: sdt110 时间: 2020-4-8 17:54
标题: 微博展开原文
有什么办法可以在使用关键词高级搜索的同时展开原文吗？
数据量比较大，重新爬取比较耗时耗力
查看源代码发现展开原文是是一个新的p tag
[attach]12256[/attach]
感觉技术上实现问题不大。。

作者: Fuller 时间: 2020-4-8 23:13
如果那个标签中有完整的微博内容，直接做规则，用内容映射的方式，把这个隐藏的html元素映射给抓取内容。

但是，我记得这个元素内容是空的，点击以后才填上内容。每点击一次是要花时间的。还存在一个问题，就是每点击一次都会采集一次内容，是采集当前整个网页，那么就会有大量的重复数据

作者: sdt110 时间: 2020-4-9 09:59

Fuller 发表于 2020-4-8 23:13
如果那个标签中有完整的微博内容，直接做规则，用内容映射的方式，把这个隐藏的html元素映射给抓取内容。

...

[attach]12257[/attach]
好像不用点击就可以看到可以在关键词高级搜索那个快捷采集的基础上修改吗？还是需要我重新创建一个规则？

作者: Fuller 时间: 2020-4-9 11:16

sdt110 发表于 2020-4-9 09:59
好像不用点击就可以看到可以在关键词高级搜索那个快捷采集的基础上修改吗？还是需要我重新创建一个规 ...

我也用chrome开发者工具看了，不点击看不到内容，我可能找了一条后面的微博，不是第一屏的，也许第一屏的微博预先加载了。

点击展开全文的时候，在开发者工具上能很明显地看到新建了一个div节点

作者: ym 时间: 2020-4-9 11:20
可以把微博的详情链接（发布时间里就是微博详情链接）采集下来，详情里是展开全部博文的，对详情采集即可获取到完整博文。
集搜客有提供详情页面的采集工具《微博博文展开全部采集》，可以先用《微博关键词搜索结果采集工具》采集到微博的详情链接，再把链接添加到《微博博文展开全部采集》采集博文详情。

作者: sdt110 时间: 2020-4-9 13:05

Fuller 发表于 2020-4-9 11:16
我也用chrome开发者工具看了，不点击看不到内容，我可能找了一条后面的微博，不是第一屏的，也许第一屏的 ...

可以啊我也是从后面随便找的一页而且你查看网页源代码也是可以找到feed_list_content_full这个标签的。我自己新建规则，后面下载是不是还要转excel啊有没有办法直接下下来就是excel啊

作者: Fuller 时间: 2020-4-9 14:47

sdt110 发表于 2020-4-9 13:05
可以啊我也是从后面随便找的一页而且你查看网页源代码也是可以找到feed_list_content_full这个标签的 ...

爬虫采集下来的原始结果是xml格式的，想转成什么格式的你可以自己写程序处理

欢迎光临集搜客GooSeeker网络爬虫 (http://120.55.75.51/doc/)