神经网络之最优化方法

最优化方法优化方法是深度学习中一个比较重要的话题，其实他的知识来自于最优化理论，如果想详细关注这个话题建议读一下最优化理论这本书，注意本书仅供参考，请误商业使用。本文将介绍常用的最优化方法，梯度下降法，牛顿法，拟牛顿法和共轭梯度法。梯度下降法梯度下降法是我们接触最多的方法，在目标函数是凸函数的时候我们能得到全局最优解。对于一个函数$f(x)$,它的梯度$f'(x)$是$f(x)$的梯度，对于足够小