xpath 抽取的正文处理问题?

问答 海牛杨 ⋅ 于 2021-03-07 00:28:57 ⋅ 最后回复由 青牛 2021-03-07 11:45:52 ⋅ 126 阅读

我们爬取回来的网页不同的网站肯定会有重复的新闻 ,想在存入数据库之前做一个去重判断在存入数据库 。
我在网上看到说
I-Match算法有一个基本的假设说:不经常出现的词和经常出现的词不会影响文档的语义,所以这些词是可以去掉的。
算法的基本思想是:将文档中有语义的单词用hash的办法表示成一个数字,数字的相似性既能表达文档的相似性
算法的框架是:

  1. 获取文档(或者是主体内容)
  2. 将文档分解成token流,移除格式化的标签
  3. 使用term的阈值(idf),保留有意义的tokens
  4. 插入tokens到升序排列的排序树中
  5. 计算tokens的SHA1
  6. 将元组(doc_id,SHA hash) 插入到某一词典中,如果词典有冲突,这两个文档相似。

按照这个算算法所说我应该用什么样的数据库存历史数据,或者用什么方法将抽取后的正文与库中数据比较去重???

成为第一个点赞的人吧 :bowtie:
回复数量: 1
  • 青牛 国内首批大数据从业者,就职于金山,担任大数据团队核心研发工程师
    2021-03-07 11:45:52

    你看看布隆过滤器

暂无评论~~
  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,可用Emoji的自动补全, 在输入的时候只需要 ":" 就可以自动提示了 :metal: :point_right: 表情列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif,教程
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
Ctrl+Enter