搜索引擎百度去重算法!!!AI伪原创工具有用吗?
在计算机科学中，SimHash是一种快速估计两个集合相似度的技术。该算法被Google Crawler用来寻找接近重复的页面。它是由Moses Charikar提出的。百度搜索引擎去重算也是由simhash算法演变而来.
什么是simhash去重算法?
simhash作为locality sensitive hash（局部敏感哈希）的一种,其主要思想是降维，将高维的特征向量映射成低维的特征向量，通过两个向量的Hamming Distance来确定文章是否重复或者高度近似。
其中，Hamming Distance，又称汉明距离，在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。也就是说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。例如：1011101 与1001001 之间的汉明距离是2。至于我们常说的字符串编辑距离则是一般形式的汉明距离。
如此，通过比较多个文档的simHash值的海明距离，可以获取它们的相似度。
simhash算法分为5个步骤：分词、hash、加权、合并、降维，每篇文档得到SimHash签名值后，接着计算两个签名的海明距离即可。根据经验值，对64位的SimHash值，海明距离在3以内的可认为相似度比较高。
AI伪原创工具有用吗?
市面上所谓AI伪原创其实就是百度,有道,谷歌等翻译软件,加上大量的同义词库替换.贵点的再给你加上部分nlp技术.伪原创之后肉眼看起来句子顺序还是很多词语，都发生了变化,simhash来看编辑距离为6，海明距离为8，相似度高达87.5%.用脑子想想,都知道百度同义词词库肯定比那些伪原创工具多,蚂蚁撼大象.真当百度百度几千号技术人员是吃干饭的.
所以怎么降低内容相似度呢?保证seo推广效果呢?专业的事情交给专业的人.欢迎联系我们傲来seo推广.
