神经网络神经网络是比较初级的一个深度学习模型，但是它的变形有很多种，因为其不可解释的特性，也给这种模型蒙上一层面纱，本章就讲解这个神经网络。下图就是一个简单的神经网络的结构，从整体上看分为输入层、隐藏层、输出层。损失函数首先要确定损失函数是凸函数还是非凸函数，如果是凸函数，那么将会不依赖选取的初始值

激活函数我们在感知机和BP算法中都提到了激活函数这一个概念，在神经网络一文中也提到这一个概念，我们通过隐藏层来的转换是对原始数据进行线性的转换，例如拉伸和缩小旋转，只有通过非线性的激活函数才能将原始和数据进行扭曲等的操作，既然激活函数这么好，那么我们都有哪些激活函数呢，激活函数之间有什么可以选择的空

参数初始化我们在进行梯度下降算法的时候，需要进行参数初始化的操作，那就有一个貌似不重要的的问题，参数如何初始化，是真的随机初始化吗？本章我们就来讨论这个问题。首先参数初始化应满足如下条件各层激活值不出现饱和现象各层激活值不为0这里你可能会有一个疑问，什么是饱和呢？1.当我们的n趋近于正无穷，激活函数