人工智能——最大熵与EM算法

目录

​​1 机器学习​​

​​2 最大熵与EM算法​​

​​2.1 最大熵 ​​

​​2.1.1 熵  ​​

​​2.1.2 相对熵(KL散度) ​​

​​2.1.3 交叉熵 ​​

​​2.1.4 信息增益 ​​

​​2.2 最大熵模型 ​​

​​2.2.1 原则 ​​

​​2.2.2 概述​​

​​2.2.3 目标函数 ​​

​​2.3 EM算法 ​​

​​2.3.1 基础 ​​

​​2.3.2 概述 ​​

​​2.3.3 算法流程​​

​​ 2.3.4 推导​​

​​2.3.5 算法中的应用 ​​

---

1 机器学习

2 最大熵与EM算法

2.1 最大熵 

2.1.1 熵  

 

2.1.2 相对熵(KL散度) 

2.1.3 交叉熵 

2.1.4 信息增益 

2.2 最大熵模型 

2.2.1 原则 

2.2.2 概述

2.2.3 目标函数 

 

给定x，在训练过程中预测结果和给定的标签一致就为1 

 

 

2.3 EM算法 

2.3.1 基础 

2.3.2 概述 

2.3.3 算法流程

 2.3.4 推导

  

2.3.5 算法中的应用