二阶优化牛顿法

对于梯度相信大家都不陌生，咱们经常把它翻译成导数。那么咱们就先来看看在梯度下降中导数是怎么起到作用的。导数一阶导数十分好理解，一阶导数是表示原函数的一个斜率信息，而二阶导数是告诉我们一阶导数随着输入是如何变化的，可以认为二阶导数是对曲率的衡量。如果这样的函数具有零二阶导数，那就没有曲 率，也就是一条完全平坦的线，仅用梯度就可以预测它的值。也就是是当学习率是$\alpha$的时候，每次沿着梯度负方向

之前有一篇博客已经讲解了正则化的一些知识，本文就深入一层看看每一种正则化到底对目标函数做了什么，让大家能够更加深入的了解正则化。现在介绍L2正则化的深入分析。L2参数正则化首先来看下带有正则化的损失函数。$$\bar{J(w;X;y)}=\frac{\alpha}{2}w^{t}w+J(w;X;y) \tag{1.1}$$对应的梯度为$$\triangledown \bar{J(w;X;y)}=\

#梯度本节我们来讲梯度方法，非常常用的最优化方法。这个概念我们应该都是理解的，梯度就是一个方向，就是$f(x)$变化最大的方向，沿着这个方向，我们更加可能获取一个极值。下面介绍一种梯度下降的方法最速下降法追速下降法是梯度方法的一个具体实现，其理论为每次迭代中选择合适的步长使得目标函数能够最大程度的减

#凸优化其实在我看来，大部分算法解决的问题其实就是一个又一个的优化问题，不管使用梯度下降或是其他的策略都是渴望能从解集中获取一个最优解，那么我们就来讲讲凸优化的相关理论，可能很枯燥，还是希望读者能够一起学习起来。面对一个问题之前，我们要进行一层数学抽象，下面我们就给出我们是要解决一个怎样的问题。$$