二阶优化牛顿法

#梯度本节我们来讲梯度方法，非常常用的最优化方法。这个概念我们应该都是理解的，梯度就是一个方向，就是$f(x)$变化最大的方向，沿着这个方向，我们更加可能获取一个极值。下面介绍一种梯度下降的方法最速下降法追速下降法是梯度方法的一个具体实现，其理论为每次迭代中选择合适的步长使得目标函数能够最大程度的减

#凸优化本章我们主要讲解一维的搜索方法，也是最优化理论的一部分，我们怎么在一个区间内找到找到一个极值呢？我们先来讨论一元单值函数的$f$,在区间$[a,b]$上的极小值点呢？二分法二分法是一种利用目标函数的一阶导数来连续压缩区间的方法，计算过程比较简单。首先，确定初始区间的中点$$x=\frac{a

#凸优化其实在我看来，大部分算法解决的问题其实就是一个又一个的优化问题，不管使用梯度下降或是其他的策略都是渴望能从解集中获取一个最优解，那么我们就来讲讲凸优化的相关理论，可能很枯燥，还是希望读者能够一起学习起来。面对一个问题之前，我们要进行一层数学抽象，下面我们就给出我们是要解决一个怎样的问题。$$

最优化方法优化方法是深度学习中一个比较重要的话题，其实他的知识来自于最优化理论，如果想详细关注这个话题建议读一下最优化理论这本书，注意本书仅供参考，请误商业使用。本文将介绍常用的最优化方法，梯度下降法，牛顿法，拟牛顿法和共轭梯度法。梯度下降法梯度下降法是我们接触最多的方法，在目标函数是凸函数的时候我们能得到全局最优解。对于一个函数$f(x)$,它的梯度$f'(x)$是$f(x)$的梯度，对于足够小