es判断文本相似 es计算相似文本

相关性和相关性算分
● 相关性 – Relevance
● 搜索的相关性算分，描述了⼀个⽂档和查询语句匹配的程度。ES 会对每个匹配查询条件的结
果进⾏算分 _score
● 打分的本质是排序，需要把最符合⽤户需求的⽂档排在前⾯。ES 5 之前，默认的相关性算分
采⽤ TF-IDF，现在采⽤ BM 25

词频 TF
● Term Frequency：检索词在⼀篇⽂档中出现的频率
● 检索词出现的次数除以⽂档的总字数
● 度量⼀条查询和结果⽂档相关性的简单⽅法：简单将搜索中每⼀个 词的 TF 进⾏相加
● TF(区块链) + TF(的) + TF(应⽤)
● Stop Word
● “的” 在⽂档中出现了很多次，但是对贡献相关度⼏乎没有⽤处，不应该考虑他们的 TF

逆⽂档频率 IDF
● DF：检索词在所有⽂档中出现的频率
● “区块链”在相对⽐较少的⽂档中出现
● “应⽤”在相对⽐较多的⽂档中出现
● “Stop Word” 在⼤量的⽂档中出现
● Inverse Document Frequency ：简单说 = log(全部⽂档数/检索词出现过的⽂档总数）
● TF-IDF 本质上就是将 TF 求和变成了加权求和
● TF(区块链)*IDF(区块链) + TF(的)*IDF(的)+ TF(应⽤)*IDF(应⽤)

TF-IDF 的概念
● TF-IDF 被公认为是信息检索领域最重要的发明
● 除了在信息检索，在⽂献分类和其他相关领域有着⾮常⼴泛的应⽤
● IDF 的概念，最早是剑桥⼤学的“斯巴克.琼斯”提出
● 1972年 – “关键词特殊性的统计解释和它在⽂献检索中的应⽤”
● 但是没有从理论上解释 IDF 应该是⽤ log(全部⽂档数/检索词出现过的⽂档总数），⽽不是其他函
数。也没有做进⼀步的研究
● 1970，1980年代萨尔顿和罗宾逊，进⾏了进⼀步的证明和研究，并⽤⾹农信息论做了证明
● http://www.staff.city.ac.uk/~sb317/papers/foundations_bm25_review.pdf
● 现代搜索引擎，对 TF-IDF 进⾏了⼤量细微的优化

Lucene 中的 TF-IDF 评分公式

BM 25
● 从 ES 5 开始，默认算法改为 BM 25
● 和经典的TF-IDF相⽐，当 TF ⽆限增加时，
BM 25算分会趋于⼀个数值

K 默认值是 1.2，数值越⼩，饱和度越⾼，b 默认值是
0.75（取值范围 0-1），0 代表禁⽌ Normalization

PUT /my_index
 {
   "settings": {
     "similarity":{
       "custom_similarity":{
         "type":"BM25",
         "b":0,
         "k1":2
       }
     }
   },
   "mappings": {
     "doc":{
       "properties":{
         "custom_text":{
           "type":"text",
           "similarity":"custom_similarity"
         },
         "default_text":{
           "type":"text"
         }
       }
     }
   }
 }
   Boosting RelevanceBoosting 是控制相关度的⼀种⼿段
 ● 索引，字段 或查询⼦条件
 ● 参数 boost的含义
 ● 当 boost > 1 时，打分的相关度相对性提升
 ● 当 0 < boost < 1 时，打分的权重相对性降低
 ● 当 boost < 0 时，贡献负分
 POST testscore/_search
 {
     "query": {
         "boosting" : {
             "positive" : {
                 "term" : {
                     "content" : "elasticsearch"
                 }
             },
             "negative" : {
                  "term" : {
                      "content" : "like"
                 }
             },
             "negative_boost" : 0.2
         }
     }
 }

它接受一个positive查询和一个negative查询。只有匹配了positive查询的文档才会被包含到结果集中，但是同时匹配了negative查询的文档会被降低其相关度，通过将文档原本的_score和negative_boost参数进行相乘来得到新的_score。

因此，negative_boost参数必须小于1.0。在上面的例子中，任何包含了指定负面词条的文档的_score都会是其原本_score的一半。