今天来讲一个比较重要的概念，叫做Bregman Divergence，即布雷格曼散度，是一种类似距离度量的方式，用于衡
量两者之间差异的大小。接下来会重点进行探讨
Contents
1. 布雷格曼散度的认识
2. 布雷格曼散度的性质
3. 布雷格曼散度与指数分布族
1. 布雷格曼散度的认识
Bregman散度是损失或者失真函数。考虑如下情况：设点
是点
的失真或者近似的点，也就是说
可能是由
添 加了一些噪声形成的，损失函数的目的是度量用
近似
近似导致的失真或者损失，因而Bregman散度可以用作相 异性函数。给定一个严格的凸函数
，由该函数生成的Bregman散度通过下面的公式给出
其中
是在
上计算
的梯度，
是向量
与向量
的差，
是
与
的
内积，对于欧几里得空间里的点，内积就是点积。
上述公式中后半部分为
，代表函数
在
点附近的线性部分，而Bregman散 度是一个函数与该函数的线性近似之间的差，选取不同的
可以得到不同的Bregman散度。
2. 布雷格曼散度的性质
在文章开始处提到了Bregman散度是一种类似距离度量的方式，但是与一般距离相比它有两大特性
（1）不满足三角不等式，即对所有的
，
和
，下面的不等式不一定成立
（2）不满足对称性，即对所有
和
，下式不一定成立
除了上述性质之外，Bregman散度还有其它的性质，可以参考如下链接
链接：http://blog.sciencenet.cn/blog-795427-671573.html
3. 布雷格曼散度与指数分布族
关于这一节的内容详细参考这里。
在之前的NMF分解中除了用欧几里得距离度量误差之外，也提到过K-L散度度量误差，也就是用的本文所述方法。
