朴素贝叶斯（Naive Bayes，NB）

朴素贝叶斯分类器是一种基于概率理论的监督学习算法，广泛应用于文本分类、垃圾邮件过滤和情感分析等领域。

它基于贝叶斯定理，并做出一个“朴素”假设，即特征之间相互独立。

贝叶斯定理公式：

$P(C|X) = \frac{P(X|C) \cdot P(C)}{P(X)}$

这里：

• $P(C|X)$ 是后验概率，表示在观察到特征 $X$ 的情况下类别 $C$
• $P(X|C)$ 是似然度，表示在类别 $C$ 已知的情况下 观察到特征 $X$
• $P(C)$ 是先验概率，表示在没有其他信息的情况下类别 $C$
• $P(X)$ 是证据，表示观察到特征 $X$ 的总概率，它是归一化因子，确保所有可能类别的后验概率之和等于 1。

朴素贝叶斯中的应用：

在朴素贝叶斯中，我们通常处理多个特征 $X = (x_1, x_2, ..., x_n)$，因此公式扩展为：
$P(C|X) = \frac{P(x_1, x_2, ..., x_n|C) \cdot P(C)}{P(x_1, x_2, ..., x_n)}$

但由于特征之间的独立性假设，我们有：
$P(x_1, x_2, ..., x_n|C) = P(x_1|C) \cdot P(x_2|C) \cdot ... \cdot P(x_n|C)$

因此公式简化为：
$P(C|X) = \frac{P(C) \cdot \prod_{i=1}^{n} P(x_i|C)}{P(X)}$

在实际应用中，因为 $P(X)$ 对所有类别来说是相同的，我们通常省略它，只关注分子部分，以确定哪个类别的后验概率最大：$\hat{C} = \arg\max_{C} [P(C) \cdot \prod_{i=1}^{n} P(x_i|C)]$

这里：

• $\hat{C}$ 表示分类器预测的类别。
• $\arg\max_{C}$ 表示选取使得括号内表达式最大的类别 $C$。

示例解释：

例如，如果我们正在构建一个邮件分类器，特征可能包括单词是否出现在邮件中，而类别可能是“垃圾邮件”或“非垃圾邮件”。假设我们有以下数据：

• “垃圾邮件”类别占所有邮件的 40%。
• “非垃圾邮件”类别占所有邮件的 60%。
• 单词“赢”在“垃圾邮件”中出现的概率是 70%，而在“非垃圾邮件”中是 10%。

如果收到一封含有单词“赢”的新邮件，朴素贝叶斯分类器将计算两个后验概率：

• $P(\text{垃圾邮件}|\text{"赢"})$ 和 $P(\text{非垃圾邮件}|\text{"赢"})$，
• 分别基于先验概率和单词“赢”在不同类别中的似然度。

分类器会比较这两个概率，并将邮件分类为具有较高后验概率的类别。这就是朴素贝叶斯算法如何工作的基本原理。