一直没有杀下心来看看机器学习中的优化方法，当然一般是相对比较成熟，确实也不需要我们关心，但是好奇心的驱使还是扫一扫吧。既然做了既要尽量做全套。一阶方法先来说咱们了解最大的梯度下降方法，大部分的论文中都是之前推导一顿猛如虎，最后梯度一笔带过，那么梯度下降到底是啥意思呢？其实梯度下降是指我们在做优化的过程中，寻找梯度的方向(一般是最优值的方向)，通过不断的迭代，最终达到最优值的过程。下降方向d的最直观

#梯度本节我们来讲梯度方法，非常常用的最优化方法。这个概念我们应该都是理解的，梯度就是一个方向，就是$f(x)$变化最大的方向，沿着这个方向，我们更加可能获取一个极值。下面介绍一种梯度下降的方法最速下降法追速下降法是梯度方法的一个具体实现，其理论为每次迭代中选择合适的步长使得目标函数能够最大程度的减

#凸优化本章我们主要讲解一维的搜索方法，也是最优化理论的一部分，我们怎么在一个区间内找到找到一个极值呢？我们先来讨论一元单值函数的$f$,在区间$[a,b]$上的极小值点呢？二分法二分法是一种利用目标函数的一阶导数来连续压缩区间的方法，计算过程比较简单。首先，确定初始区间的中点$$x=\frac{a

无约束的最优化首先我们来看一个实际问题。一家彩电工程研制了两种产品，一种是19寸的夜景平板电视，建议零售价为339.另一种是21存电视零售价399.公司付出的成本是19寸的195美元，21寸的是225美元，还要加上400000美元的固定成本。在竞争市场中，每年售出彩电的数量会影响彩电的平均价格。据统