BN(Batch Normalization)BN是深度学习中缓解过拟合的一个非常常见的手段，不仅能有效的解决梯度爆炸的问题，而且加入了BN的网络往往是更加稳定的还具有一定的正则化的作用。梯度饱和问题日常工作中我们经常使用的sigmod激活函数或者tanh激活函数存在饱和的区域，其原因是激活函数输入值过大或者过小，导致的激活函数的梯度接近于0，使得网络收敛过慢。传统的方法是使用Relu激活函数。B

预处理预处理是机器学习一个基础问题，但是没有时间将预处理的方式进行整理，这次就将预处理的方式进行部分整理。归一化对于数值类型的特征可以进行归一化操作，而归一化意味着将现有数据整理到某一个范围内。线性函数归一化目标是将所有的数据归一化到[0,1]之间。$$X = \frac{X-X_i}{X_m-X_i}$$$X_m$代表X序列最大值，$X_i$代表X序列的最小值。零均值归一化目的是将原始数据归一化

归一化方法我们做机器学习的时候，都会假设数据的原始分布是独立同分布的数据分布(IID) (为什么呢？),但是对于神经网络来讲就层级的网络结构使得底层参数对高层级的输出分布影响很大，所以很难满足这个假设。对于这个问题我们一般引入一个归一化的方法，实际上是通过采取不同的变换方式使得各层输入数据近似满足独立同分布的假设。为什么输入数据要满足独立同分布呢？是独立同分布： 在概率统计理论中，如果变量序列或