#凸优化其实在我看来，大部分算法解决的问题其实就是一个又一个的优化问题，不管使用梯度下降或是其他的策略都是渴望能从解集中获取一个最优解，那么我们就来讲讲凸优化的相关理论，可能很枯燥，还是希望读者能够一起学习起来。面对一个问题之前，我们要进行一层数学抽象，下面我们就给出我们是要解决一个怎样的问题。$$

运筹学是一本规划数学，是数学建模的基础课程之一，本文将介绍一些和运筹学相关的知识。如果解决一个问题定义问题和收集数据数学建模模型求解校验模型上线十分简单没有任何反直觉的步骤，我们尽量通过一些经典的运筹学问题来讲解这门科学。原形范例有一家工厂有三个厂房，厂房1制作铝框架和硬件，木制框架给厂房2生产，厂

协方差矩阵在很多论文中都会提到协方差矩阵的概念，如果你不知道协方差矩阵是怎么来的就很难看懂论文，本文会介绍协方差矩阵是如何计算的？首先我们来说下协方差， 协方差是衡量两列特征的相关度的，但是协方差矩阵又是什么呢？我们先来看协方差是如何计算的？$$COV(X, Y)=E[(X-\mu_x)(Y-\mu_y)]$$协方差矩阵的定义矩阵中的数据按行排列与按列排列求出的协方差矩阵是不同的，这里默认数据是按

无约束的最优化首先我们来看一个实际问题。一家彩电工程研制了两种产品，一种是19寸的夜景平板电视，建议零售价为339.另一种是21存电视零售价399.公司付出的成本是19寸的195美元，21寸的是225美元，还要加上400000美元的固定成本。在竞争市场中，每年售出彩电的数量会影响彩电的平均价格。据统

熵熵的计算公式为:$$H(x)=-\sump(x)log^{p(x)}$$这个公司我们并不陌生，在决策树切割的时候会记住熵增益，逻辑回归的损失函数交叉熵函数等，那我们今天就来认识不用的熵有何种物理意义。若不确定性越大，则信息量越大，熵越大若不确定性越小，则信息量越小，熵越小条件熵假设随机变量(X,Y

拉格朗日乘子拉格朗日乘子在很多机器学习中都提到过，一般都会被一带而过，因为本身理论就比较复杂，这里会拉格朗日乘子的使用做一个简答的介绍，否则SVM这一类凸优化算法根本不可能理解其精髓。在求解最优化问题中,经常用到就是拉格朗日乘子法。在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。当你

卷积CNN已经成为图片分类比较成熟的算法，但是，很少人了解其中的数学原理，这里就先从卷积讲起，后面也会主要到卷积神经网络。希望大家能够很好的理解这个内容，为了以后学习卷积神经网络做准备。卷积的定义连续下的定义$$(f*g)(n)=\intf(t)g(n-t)$$离散下的定义$$(f*g)(n)=\s

基础概念矩阵在机器学习算法中经常作为辅助计算的存在，除此以外矩阵论本身就是一门独立的学科，在推荐场景下使用尤其广泛，这里有机会从头看看矩阵的相关知识，分享给代价，勾起大学的青葱回忆？本节中我们将介绍一些矩阵的基础知识，和一些常用的表达，其实我们经常看论文会发现一些表达上比较生涩，我们很难看懂，导致我

点积当我们读一些论文或是一些机器学习的书籍的时候重视感觉有些数学上的结论模糊不清，最后弄得我们也并不是很懂算法其中的数学道理，本系列文章将着重讲解一些基础数学的知识。点积是一个标量，也就是一个数字，如果给出两个向量$A=<a_1,a_2,...,a_n>$$B=<b_1,b_2,.

中心极限定理当你看数据挖掘的相关数据，虽然一遍一遍的看，但是总是不太懂，这个时候你可能需要看看数理统计的相关知识，这是个追根溯源的时代，知识体系也是一样，所以我们开始数学路程吧。在本节中我们来说一下中心极限定理极限定理设$X_1,...,X_n$是独立同分布的随机变量序列，序列的每一项均值是$\mu

参数估计当你看数据挖掘的相关数据，虽然一遍一遍的看，但是总是不太懂，这个时候你可能需要看看数理统计的相关知识，这是个追根溯源的时代，知识体系也是一样，所以我们开始数学路程吧。点估计：依据样本估计总体分布中所含的未知参数或未知参数的函数。区间估计（置信区间的估计）：依据抽取的样本，根据一定的正确度与精

概率论与数理统计当你看数据挖掘的相关数据，虽然一遍一遍的看，但是总是不太懂，这个时候你可能需要看看数理统计的相关知识，这是个追根溯源的时代，知识体系也是一样，所以我们开始数学路程吧。本节我们要学一学经常被提到且常用的分布，算是积攒经验了，后面很多机器学习数学建模都是基于现在的本钱，所以咱们来开始学习