集搜客GooSeeker网络爬虫

标题: 基于互联网内容做初步的论文查重是否可行？ [打印本页]

作者: 马涌河畔 时间: 2020-6-17 09:41
标题: 基于互联网内容做初步的论文查重是否可行？
如题，我想用网络爬虫，爬取一定量的互联网内容后，提供初步的论文查重功能。
不知道是否可行

作者: 内容分析应用 时间: 2020-6-17 09:45
如果是建一个基础库，提供初步的查重功能，我觉得是可以的。

作者: 内容分析应用 时间: 2020-6-17 09:47
那些专业的查重软件，比如知网，底层库收录的有期刊论文，博硕士论文，专利，各种出版物。
也有来自互联网的资源：互联网资源(包含贴吧等论坛资源)，互联网文档资源等

作者: Fuller 时间: 2020-6-17 11:03
集搜客网络爬虫软件在监控互联网内容版权方面用的还挺多的。粗略来说，可以有两种方案：
1，在线式发现互联网上可疑的抄袭内容。
从文章中提取一些特征句子，交给集搜客网络爬虫，至少可以从百度搜索结果中收集潜在的查重对象。可以用这个百度搜索快捷采集工具。比如，搜寻分析师的文章有没有被抄袭。

2，预先建设资料库的方案
用集搜客网络爬虫持续不断地爬取互联网内容，建设资料库。等需要查询一篇文章是否与其他雷同时，从这个资料库中查就行了。

如果做粗略的可以内容排查，可以用基本的搜索引擎的排序功能就可。如果需要比较高精度地识别内容的相似度，可以实现一些相似度引擎，比如，Shingling算法。

作者: 内容分析应用 时间: 2020-6-18 09:27
之前有个项目，是基于上面所说的第1种方法: 在线式发现互联网上可疑的抄袭内容

欢迎光临集搜客GooSeeker网络爬虫 (http://120.55.75.51/doc/)