首先要知道什么是似然函数,根据百度百科的介绍:
设总体X服从分布P(x;θ)(当X是连续型随机变量时为概率密度,当X为离散型随机变量时为概率分布),θ为待估参数,X1,X2,…Xn是来自于总体X的样本,x1,x2…xn为样本X1,X2,…Xn的一个观察值,则样本的联合分布(当X是连续型随机变量时为概率密度,当X为离散型随机变量时为概率分布)
L(θ)=L(x1,x2,…,xn;θ)=ΠP(xi;θ)称为似然函数。.............................................................................................................................(1)
(以下部分是我转载的)
最大似然函数提供了一种给定观察数据来估计模型参数的方法,即“模型已定,参数未知”。简单而言,假设我们要统计全国人口的身高,首先假设这个身高服从服从正态分布,但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高,但是可以通过采样,获取部分人的身高,然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。
最大似然估计中采样需满足一个很重要的假设,就是所有的采样都是独立同分布的。下面我们具体描述一下最大似然估计:
首先,假设
为独立同分布的采样,θ为模型参数,f为我们所使用的模型,遵循我们上述的独立同分布假设。参数为θ的模型f产生上述采样可表示为
为了求出Θ, 我们利用(1)写出似然函数:
...........................................................................................................(2)
在实际应用中常用的是两边取对数,得到公式如下:
其中
称为对数似然,而
称为平均对数似然。而我们平时所称的最大似然为最大的对数平均似然,即:
下面,我们假设样本都服从高斯分布且方差已知,估计期望使得到这一组数据的概率最大:
(2)可以写成:
对μ求导可得
,则最大似然估计的结果为μ=(x1+x2+…+xn)/n
总结:最大似然函数估计法,首先是假设所得的样本服从某一分布,目标是估计出这个分布中的参数,方法是得到这一组样本的概率最大时就对应了该模型的参数值,写出似然函数,再求对数(得到对数似然),再求对数似然函数的平均(对数平均似然),再对其求导,得出参数值。目前我理解的需要求对数的原因是,通常概率是小数,连乘之后会非常小,对计算机而言,容易造成浮点数下溢,所以用了取对数。