主要内容：为什么最速下降法中迭代方向是锯齿形的？
1
前言
在前面一篇文章中【最优化】一文搞懂最速下降法
最后讲到最速梯度下降法的缺点说到了在一般情况下，当用最速下降法寻找极小点时，其搜索路径呈直角锯齿状（如下图），在开头 几步，目标函数下降较快；但在接近极小点时，收敛速度长久不理想了。特别适当目标函数的等值 线为比较扁平的椭圆时，收敛就更慢了。如下图：
那么本篇文章讲解一下为什么最速梯度下降法中的两个相邻方向是正交的（呈锯齿行）
2
证明
要证明最速梯度下降法中的两个相邻方向是正交的，也就是证明在x^k与x^(k+1)两点的移动方向相互垂直。又因为最速梯度下降法的迭代方向就是该点的负梯度方向，也就是证明
则说明了为什么最速下降法中迭代方向是锯齿形的！
推荐阅读文章~
Coursera吴恩达《卷积神经网络》课程笔记（1）-- 卷积神经网络基础 Coursera吴恩达《卷积神经网络》课程笔记（2）-- 深度卷积模型：案例研究 【干货笔记】吴恩达教你应用机器学习技巧 【干货】通俗理解自然语言处理中N-Gram模型
欢迎关注公众号学习交流~
