预处理预处理是机器学习一个基础问题，但是没有时间将预处理的方式进行整理，这次就将预处理的方式进行部分整理。归一化对于数值类型的特征可以进行归一化操作，而归一化意味着将现有数据整理到某一个范围内。线性函数归一化目标是将所有的数据归一化到[0,1]之间。$$X = \frac{X-X_i}{X_m-X_i}$$$X_m$代表X序列最大值，$X_i$代表X序列的最小值。零均值归一化目的是将原始数据归一化

最优化方法优化方法是深度学习中一个比较重要的话题，其实他的知识来自于最优化理论，如果想详细关注这个话题建议读一下最优化理论这本书，注意本书仅供参考，请误商业使用。本文将介绍常用的最优化方法，梯度下降法，牛顿法，拟牛顿法和共轭梯度法。梯度下降法梯度下降法是我们接触最多的方法，在目标函数是凸函数的时候我们能得到全局最优解。对于一个函数$f(x)$,它的梯度$f'(x)$是$f(x)$的梯度，对于足够小

激活函数我们在感知机和BP算法中都提到了激活函数这一个概念，在神经网络一文中也提到这一个概念，我们通过隐藏层来的转换是对原始数据进行线性的转换，例如拉伸和缩小旋转，只有通过非线性的激活函数才能将原始和数据进行扭曲等的操作，既然激活函数这么好，那么我们都有哪些激活函数呢，激活函数之间有什么可以选择的空

感知机感知机是1957年提出的概念，一直被视为最简单的人工神经网络，也作为二元线性被广泛使用。我们可以将感知机理解成最简单的神经网络，一般解决线性的分类问题。上图就是一个简单的感知机，输入端是x序列，通过权重转换，然后经过激活函数f，最后得到预测分类，如公式1中描述的。$$ y=f(\sum_{i=1}^{n}w_ix_i-\theta) \tag{1}$$import numpy as npn

参数初始化我们在进行梯度下降算法的时候，需要进行参数初始化的操作，那就有一个貌似不重要的的问题，参数如何初始化，是真的随机初始化吗？本章我们就来讨论这个问题。首先参数初始化应满足如下条件各层激活值不出现饱和现象各层激活值不为0这里你可能会有一个疑问，什么是饱和呢？1.当我们的n趋近于正无穷，激活函数