矩阵特征值和特征向量的描述
特征值绝对值大于1和小于1：
配图说明：
非奇异矩阵乘以任意向量，某个特征值小于1的分量逐渐收缩：
某个分量一直在减小：
雅可比迭代
解决Ax=b的问题。
D是对角矩阵，对角上的元素和A相同（便于求逆）E是对角线元素为0，其他为A
通过14式可以知道，如果x为最优解时，迭代不会改变x的值。
上面的迭代在干嘛：
每次进行14不影响真实分量x，只影响误差e，如果B的所有特征值小于1，经过有限次迭代e会收敛到0
收敛速度的讨论：
含有最大特征值对应的特征向量的初始e，收敛最慢
一个雅可比迭代的例子：
求特征值：
求特征向量：
迭代：
B的特征值和向量将不在和A相同：
之前的最速下降算法分析：
可见如果
是其中的一个特征向量那么一次迭代就求出了解。
上面式子结合：
的由来：
的得到：
看。
一次迭代出结果的图像表示：
扩展到e不是特征向量的情况：
e表示为A的特征向量的组合；
一些性质：
带入最大梯度优化：
考虑只有一个特征向量，即所有特征值相等：
可见一步就达到目的了
解释原因因为是圆形，导致无论起点在哪e都指向圆心：
简单讨论一般情况，即多个特征值，且不相等：
和雅可比迭代的区别：
一般情况下的收敛:
二次函数可以写成，x为最优值，p是任一点
最小化8即最小化
带入迭代关系；
可见w只要小于1，迭代数次后e减少
增加变量和变形：
根据上面画出图像：
通过上面图分析上面讨论过的特征值相同和e为特征向量的例子：
几种情况下迭代收敛速度的讨论：
和
不同
上面的过程每一步迭代都是正交的
An Introduction to the Conjugate Gradient Method Without the Agonizing Pain
有人看待续。
