对于梯度相信大家都不陌生，咱们经常把它翻译成导数。那么咱们就先来看看在梯度下降中导数是怎么起到作用的。导数一阶导数十分好理解，一阶导数是表示原函数的一个斜率信息，而二阶导数是告诉我们一阶导数随着输入是如何变化的，可以认为二阶导数是对曲率的衡量。如果这样的函数具有零二阶导数，那就没有曲 率，也就是一条完全平坦的线，仅用梯度就可以预测它的值。也就是是当学习率是$\alpha$的时候，每次沿着梯度负方向

无约束的最优化首先我们来看一个实际问题。一家彩电工程研制了两种产品，一种是19寸的夜景平板电视，建议零售价为339.另一种是21存电视零售价399.公司付出的成本是19寸的195美元，21寸的是225美元，还要加上400000美元的固定成本。在竞争市场中，每年售出彩电的数量会影响彩电的平均价格。据统

拉格朗日乘子拉格朗日乘子在很多机器学习中都提到过，一般都会被一带而过，因为本身理论就比较复杂，这里会拉格朗日乘子的使用做一个简答的介绍，否则SVM这一类凸优化算法根本不可能理解其精髓。在求解最优化问题中,经常用到就是拉格朗日乘子法。在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。当你

卷积CNN已经成为图片分类比较成熟的算法，但是，很少人了解其中的数学原理，这里就先从卷积讲起，后面也会主要到卷积神经网络。希望大家能够很好的理解这个内容，为了以后学习卷积神经网络做准备。卷积的定义连续下的定义$$(f*g)(n)=\intf(t)g(n-t)$$离散下的定义$$(f*g)(n)=\s

中心极限定理当你看数据挖掘的相关数据，虽然一遍一遍的看，但是总是不太懂，这个时候你可能需要看看数理统计的相关知识，这是个追根溯源的时代，知识体系也是一样，所以我们开始数学路程吧。在本节中我们来说一下中心极限定理极限定理设$X_1,...,X_n$是独立同分布的随机变量序列，序列的每一项均值是$\mu

参数估计当你看数据挖掘的相关数据，虽然一遍一遍的看，但是总是不太懂，这个时候你可能需要看看数理统计的相关知识，这是个追根溯源的时代，知识体系也是一样，所以我们开始数学路程吧。点估计：依据样本估计总体分布中所含的未知参数或未知参数的函数。区间估计（置信区间的估计）：依据抽取的样本，根据一定的正确度与精

概率论与数理统计当你看数据挖掘的相关数据，虽然一遍一遍的看，但是总是不太懂，这个时候你可能需要看看数理统计的相关知识，这是个追根溯源的时代，知识体系也是一样，所以我们开始数学路程吧。本节我们要学一学经常被提到且常用的分布，算是积攒经验了，后面很多机器学习数学建模都是基于现在的本钱，所以咱们来开始学习

概率论与数理统计当你看数据挖掘的相关数据，虽然一遍一遍的看，但是总是不太懂，这个时候你可能需要看看数理统计的相关知识，这是个追根溯源的时代，知识体系也是一样，所以我们开始数学路程吧。连续随机变量在生产过程中，我经常面对的是取值是连续的概率分布，例如身高体重，而在连续随机变量中，我们的频率函数也被密度

概率论与数理统计当你看数据挖掘的相关数据，虽然一遍一遍的看，但是总是不太懂，这个时候你可能需要看看数理统计的相关知识，这是个追根溯源的时代，知识体系也是一样，所以我们开始数学路程吧。随机变量如果随机变量的取值范围是{$x_1,x_2..$},且有$\sump(x)=1$的函数p，我们称这个函数是随机

常用导数大全把常用的导数求法进行汇总，作为其他学习的基础。$y=C$,$y^{'}=0$$y=x^n$,$y^{'}=nx^{n-1}$$y=sinx$,$y^{'}=cosx$$y=cosx$,$y^{'}=-sinx$$y=tanx$,$y^{'}=\frac{1}{cos^2x}=sec^{2