梯度下降法用目标函数的一阶偏导、以负梯度方向作为搜索方向，只考虑目标函数
在迭代点的局部性质；牛顿法同时考虑了目标函数的一、二阶偏导数，考虑了梯度变化
趋势，因而能更合适的确定搜索方向加快收敛，但牛顿法也存在以下缺点：
1、对目标函数有严格要求，必须有连续的一、二阶偏导数，海森矩阵必须正定；
梯度下降法与牛顿法的比较
原创
©著作权归作者所有：来自51CTO博客作者牧马人夏峥的原创作品，请联系作者获取转载授权，否则将追究法律责任
提问和评论都可以，用心的回复会被更多人看到
评论
发布评论
相关文章
-
python梯度提升决策树
本文简要介绍了Python梯度提升决策树的方法示例，包括鸢尾花（Iris）数据集进行分类、房价预测（回归）、垃圾邮件分类、特征选择等示例。
决策树 垃圾邮件 GBDT 房价预测 Python -
共轭梯度法,最速下降法和牛顿法
莱斯基分解这样的直接方法太大了。这种
共轭梯度法 迭代 牛顿法 -
优化算法之梯度下降法、牛顿法、拟牛顿法和拉格朗日乘数法
在机器学习中，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解最优
梯度下降法 牛顿法 拟牛顿法 拉格朗日乘数法 最优化 -
机器学习案例系列教程——优化方法总结（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）
梯度下降法梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数示...
优化 梯度下降法 牛顿法 拉格朗日 数据挖掘 -
梯度下降和牛顿法的数学解释
看了ng梯度下降和牛顿法的内容，但是都是从直观意义上讲的
迭代 最小值 牛顿法 -
梯度下降法和nesterov加速 梯度法和最速下降法
Differences between Gradient Descent and Steepest Descent Method梯度法（Gradient Descent Method）和最速下降法（Steepest Descent Method）在Boyd 经典的凸规划教材《Convex Optimization》中，本就是无约束极值问题（Unconstrained Minimiza
梯度下降法和nesterov加速 python sklearn 梯度下降法 最速下降法 python 最速下降法matlab 最速下降法
