#梯度本节我们来讲梯度方法，非常常用的最优化方法。这个概念我们应该都是理解的，梯度就是一个方向，就是$f(x)$变化最大的方向，沿着这个方向，我们更加可能获取一个极值。下面介绍一种梯度下降的方法最速下降法追速下降法是梯度方法的一个具体实现，其理论为每次迭代中选择合适的步长使得目标函数能够最大程度的减

#凸优化本章我们主要讲解一维的搜索方法，也是最优化理论的一部分，我们怎么在一个区间内找到找到一个极值呢？我们先来讨论一元单值函数的$f$,在区间$[a,b]$上的极小值点呢？二分法二分法是一种利用目标函数的一阶导数来连续压缩区间的方法，计算过程比较简单。首先，确定初始区间的中点$$x=\frac{a