BM25算法

BM25（Best Matching 25）是一种用于信息检索的排名算法，广泛应用于搜索引擎和全文检索系统中。它是基于概率检索模型（Probabilistic Retrieval Model）的改进版本，能够有效地对文档与查询的相关性进行评分。以下是关于 BM25 的详细介绍：

BM25 的核心思想

BM25 通过计算查询词与文档的相关性得分来对文档进行排序。其核心思想是：

1. 词频（Term Frequency, TF）：查询词在文档中出现的频率越高，相关性得分越高。

2. 逆文档频率（Inverse Document Frequency, IDF）：查询词在整个文档集合中出现的频率越低，其区分能力越强，得分越高。

3. 文档长度归一化：对长文档进行惩罚，避免长文档因词频高而获得过高的得分。

BM25 公式

BM25 的评分公式如下：

score(D,Q)=∑i=1nIDF(qi)⋅TF(qi,D)⋅(k1+1)TF(qi,D)+k1⋅(1−b+b⋅∣D∣avgdl)score(D,Q)=i=1∑n​IDF(qi​)⋅TF(qi​,D)+k1​⋅(1−b+b⋅avgdl∣D∣​)TF(qi​,D)⋅(k1​+1)​

其中：

• DD：文档。

• QQ：查询，由词项 q1,q2,…,qnq1​,q2​,…,qn​ 组成。

• TF(qi,D)TF(qi​,D)：词项 qiqi​ 在文档 DD 中的词频。

• IDF(qi)IDF(qi​)：词项 qiqi​ 的逆文档频率。

• ∣D∣∣