EM 算法迭代收敛曲线R程序 迭代法收敛阶计算

1. 迭代法的收敛速度

迭代过程的收敛速度，是指迭代误差的下降速度。迭代法的收敛速度一般用收敛阶来描述。

定义2：对于收敛的迭代法$x_{k+1}=\varphi(x_k),(k=1,2,\cdots)$，如果存在常数$p\geq 1,c>0$，使得
$lim_{k\to\infty}\frac{e_{k+1}}{e^p_k}=C$
成立（其中$e_k=|x_k-x^*|$），则称该迭代法时p阶（次）收敛的。特别地，当$p=1$时称为线性收敛，$p=2$时称为平方收敛。

例2：讨论一般迭代法$x_{k+1}=\varphi(x_k),(k=1,2,\cdots)$的收敛速度。

解：令$x^*=\varphi(x^*)$，所以$x_{k+1}-x^*=\varphi(x_k)-\varphi(x^*)$。根据中值定理，有
$x_{k+1}-x^*=\varphi(x_k)-\varphi(x^*)=\varphi$
$\xi$为$x_k$与$x^*$之间的某一点。

因为$e_{k+1}=x_{x+1}-x^*,e_k=x_k-x^*$，所以当$x_k$在根$x^*$附近时，有$e_{k+1}=\varphi$。

可见，当$\varphi(x^*)\neq 0$时，一般迭代法$x_{k+1}=\varphi(x_k),(k=1,2,\cdots)$，具有线性收敛性。

定理3：对于迭代过程$x_{k+1}=\varphi(x_k)$，如果迭代函数$\varphi(x)$在所求根$x^*$的邻近有连续二阶导数，且$|\varphi$，则有：

（1）当$\varphi$时，迭代过程为线性收敛；

（2）当$\varphi$，而$\varphi$时，迭代过程为平方收敛。

一般迭代法的收敛速度还可以是p阶收敛的。设$\varphi(x)$在$x=\varphi(x)$的根$x^*$附近有连续的p阶导数，且$\varphi$，则迭代过程$x_{k+1}=\varphi(x_k)$是p阶收敛的。

在用迭代法求解方程的根时，可以先判断迭代函数的收敛速度，然后再具体计算。

2. 收敛过程的加速

一个收敛的迭代过程，只要迭代次数足够多，就可以使计算结果达到任意指定的精度。但是，如果收敛过程过于缓慢、计算工作量过大，则在实际计算过程往往要考虑加速收敛过程的问题。

1. 迭代公式的改进

设$\hat x_{k+1}$表示由$x_k$经过一次迭代后所得到的结果$\hat x_{k+1}=\varphi(x_k)$，有微分中值定理，有
$x^*-\hat x_{k+1}=\varphi(x^*)-\varphi(x_k)=\varphi$
其中，$\xi$为$x_k$与$x^*$之间的某一点。假设$\xi$在求根范围内变化不大，可以近似地看成某个定值q，根据迭代法的收敛条件，有$|q|<1$。于是有：
$x^*-\hat x_{k+1}\approx q(x^*-x_k)$
从而
$x^*\approx \frac{1}{1-q}\hat x_{k+1}-\frac{q}{1-q}x_k$
故
$x_{k+1}=\hat x_{k+1}+(x^*-\hat x_{k+1})=\frac{1}{1-q}\hat x_{k+1}-\frac{q}{1-q}x_k \tag{3}$
$x_{k+1}$比$\hat x_{k+1}$更接近根$x^*$。因此，迭代收敛的过程得到了加速。

构造一般迭代法加速公式的具体方法如下：

（1）$\hat x_{k+1}=\varphi(x_k)$；

（2）$x_{k+1}=\hat x_{k+1}+\frac{q}{1-q}(\hat x_{k+1}-x_k)$，其中$|q|<1$。

2. Aitken（埃特金）加速法

在公式（3）中确定q时，需要计算迭代函数的导数$\varphi$。这在实际计算中是不太方便的，因此可以作进一步改进。由于在上面已有：
$\hat x_{k+1}=\varphi(x_k),\quad x^*-\hat x_{k+1}=q(x^*-x_k)$
故将迭代值$\hat x_{k+1}$再进行一次迭代计算，得：
$\overline x_{k+1}=\varphi(\hat x_{k+1}),\quad x^*- \overline x_{k+1}=q(x^*-\hat x_{k+1})$
所以
$\frac{x^*-\hat x_{k+1}}{x^*-\overline x_{k+1}}=\frac{(x^*-x_k)}{(x^*-\hat x_{k+1})}$
解得
$x^*\approx \overline x_{k+1}-\frac{(\overline x_{k+1}-\hat x_{k+1})^2}{\hat x_{k+1}-2\hat x_{k+1}+x_k}$
于是，就有如下迭代公式：
$(1)\hat x_{k+1}=\varphi(x_k) \quad(2)\overline x_{k+1}=\varphi(\hat x_{k+1}) \quad (3)x_{k+1}=\overline x_{k+1}-\frac{(\overline x_{k+1}-\hat x_{k+1})^2}{\hat x_{k+1}-2\hat x_{k+1}+x_k}$
Aitken加速法的几何解释如下图所示。假设$x_0$为方程$x=g(x)$的一个近似根，由$x_1^{(1)}=g(x_0)$和$x_1^{(2)}=g(x_1^{(1)})$，在曲线上$y=g(x)$上可以定出两点$p_0(x_0,x_1^{(1)})$和$p_1(x_1^{(1)},x_1^{(2)})$，作弦线$\overline{p_0p_1}$与直线$y=x$交于p。则p点坐标$x_1$满足：
$x_1=x_1^{(1)}+\frac{x_1^{(2)}-x_1^{(1)}}{x_1^{(1)}-x_0}(x_1-x_1^{(1)})$
解出$x_1$，即得Aitken加速公式。