二阶优化牛顿法

一直没有杀下心来看看机器学习中的优化方法，当然一般是相对比较成熟，确实也不需要我们关心，但是好奇心的驱使还是扫一扫吧。既然做了既要尽量做全套。一阶方法先来说咱们了解最大的梯度下降方法，大部分的论文中都是之前推导一顿猛如虎，最后梯度一笔带过，那么梯度下降到底是啥意思呢？其实梯度下降是指我们在做优化的过程中，寻找梯度的方向(一般是最优值的方向)，通过不断的迭代，最终达到最优值的过程。下降方向d的最直观

#凸优化本章我们主要讲解一维的搜索方法，也是最优化理论的一部分，我们怎么在一个区间内找到找到一个极值呢？我们先来讨论一元单值函数的$f$,在区间$[a,b]$上的极小值点呢？二分法二分法是一种利用目标函数的一阶导数来连续压缩区间的方法，计算过程比较简单。首先，确定初始区间的中点$$x=\frac{a

#凸优化其实在我看来，大部分算法解决的问题其实就是一个又一个的优化问题，不管使用梯度下降或是其他的策略都是渴望能从解集中获取一个最优解，那么我们就来讲讲凸优化的相关理论，可能很枯燥，还是希望读者能够一起学习起来。面对一个问题之前，我们要进行一层数学抽象，下面我们就给出我们是要解决一个怎样的问题。$$

交替方向乘子法本文是继拉格朗日乘子以后有一个讲优化算法，建议先读完拉格朗日乘子然后阅读本文效果更佳。首先我们来考虑以下什么是优化问题，它的数学表达是怎么样的，如果阅读了上面这个博客，你能很好的回答的这个问题，最简单的表达实际上就是。$$min_x=f(x)$$其中$x$是优化变量，也就是可以改变的数值，通过调节$x$的大小，使得目标函数$f(x)$的数值达到最小。实际上对于上面的表达式，$min_

最优化方法优化方法是深度学习中一个比较重要的话题，其实他的知识来自于最优化理论，如果想详细关注这个话题建议读一下最优化理论这本书，注意本书仅供参考，请误商业使用。本文将介绍常用的最优化方法，梯度下降法，牛顿法，拟牛顿法和共轭梯度法。梯度下降法梯度下降法是我们接触最多的方法，在目标函数是凸函数的时候我们能得到全局最优解。对于一个函数$f(x)$,它的梯度$f'(x)$是$f(x)$的梯度，对于足够小