本节主要讲完整数据集下的参数学习， 在贝叶斯网络中参数就是计算路径概率的时候，每条连边的概率。对于这个概率主要有两种做法，这一种是 频率学派， 一种贝叶斯学派。频率学派这种方法是最容易理解和做的，直接调过证明过程，看一个小例子。看如图1的概率关系。MFRm0m_{0}m0​badOm0m_{0}m0​badOm0m_{0}m0​badOm0m_{0}m0​badOm0m_{0}m0​badNm0m

对于梯度相信大家都不陌生，咱们经常把它翻译成导数。那么咱们就先来看看在梯度下降中导数是怎么起到作用的。导数一阶导数十分好理解，一阶导数是表示原函数的一个斜率信息，而二阶导数是告诉我们一阶导数随着输入是如何变化的，可以认为二阶导数是对曲率的衡量。如果这样的函数具有零二阶导数，那就没有曲 率，也就是一条完全平坦的线，仅用梯度就可以预测它的值。也就是是当学习率是$\alpha$的时候，每次沿着梯度负方向

有时我们需要衡量一个矢量的大小。在机器学习中，我们经常使用称为 (norm)的函数来衡量矢量大小。形式上范数的定义如下。$$||x||_{p}=(\sum |x_{i}|^{p})^{\frac{1}{p}}$$

#线性规划前面铺垫了不少，接下来咱们来看看都怎么解这一堆方程。矩阵概念1.如果矩阵E是由单位阵I经过交换矩阵的两行得到的，就是第一类矩阵2.如果E是由单位阵乘以一个数得到，就叫做第二类矩阵3.如果E是由单位阵乘以一个数再加到另一行得到的，就叫做第三类矩阵。定理：对一个矩阵进行第一类、第二类、第三类变

#线性规划本节开始我们就来讲解线性规划问题。看看我们该如何解决带有条件约束的最优解问题。线性规划简单例子先从实际问题出发，让我们来了解一下我们将要解决的那种问题？某制造商生产四种不同的产品，分别用X1，X2，X3，X4来表示，生产过程需要三种原料，其中工作人数和原料等参数如下表，问题当然就是如何保证

#梯度本节我们来讲梯度方法，非常常用的最优化方法。这个概念我们应该都是理解的，梯度就是一个方向，就是$f(x)$变化最大的方向，沿着这个方向，我们更加可能获取一个极值。下面介绍一种梯度下降的方法最速下降法追速下降法是梯度方法的一个具体实现，其理论为每次迭代中选择合适的步长使得目标函数能够最大程度的减

#凸优化本章我们主要讲解一维的搜索方法，也是最优化理论的一部分，我们怎么在一个区间内找到找到一个极值呢？我们先来讨论一元单值函数的$f$,在区间$[a,b]$上的极小值点呢？二分法二分法是一种利用目标函数的一阶导数来连续压缩区间的方法，计算过程比较简单。首先，确定初始区间的中点$$x=\frac{a

#凸优化其实在我看来，大部分算法解决的问题其实就是一个又一个的优化问题，不管使用梯度下降或是其他的策略都是渴望能从解集中获取一个最优解，那么我们就来讲讲凸优化的相关理论，可能很枯燥，还是希望读者能够一起学习起来。面对一个问题之前，我们要进行一层数学抽象，下面我们就给出我们是要解决一个怎样的问题。$$

协方差矩阵在很多论文中都会提到协方差矩阵的概念，如果你不知道协方差矩阵是怎么来的就很难看懂论文，本文会介绍协方差矩阵是如何计算的？首先我们来说下协方差， 协方差是衡量两列特征的相关度的，但是协方差矩阵又是什么呢？我们先来看协方差是如何计算的？$$COV(X, Y)=E[(X-\mu_x)(Y-\mu_y)]$$协方差矩阵的定义矩阵中的数据按行排列与按列排列求出的协方差矩阵是不同的，这里默认数据是按

无约束的最优化首先我们来看一个实际问题。一家彩电工程研制了两种产品，一种是19寸的夜景平板电视，建议零售价为339.另一种是21存电视零售价399.公司付出的成本是19寸的195美元，21寸的是225美元，还要加上400000美元的固定成本。在竞争市场中，每年售出彩电的数量会影响彩电的平均价格。据统