机器学习之优化方法(一)

一直没有杀下心来看看机器学习中的优化方法，当然一般是相对比较成熟，确实也不需要我们关心，但是好奇心的驱使还是扫一扫吧。既然做了既要尽量做全套。一阶方法先来说咱们了解最大的梯度下降方法，大部分的论文中都是之前推导一顿猛如虎，最后梯度一笔带过，那么梯度下降到底是啥意思呢？其实梯度下降是指我们在做优化的过程中，寻找梯度的方向(一般是最优值的方向)，通过不断的迭代，最终达到最优值的过程。下降方向d的最直观