Thu Jun 18

深度学习

神经网络之最优化方法

最优化方法优化方法是深度学习中一个比较重要的话题，其实他的知识来自于最优化理论，如果想详细关注这个话题建议读一下最优化理论这本书，注意本书仅供参考，请误商业使用。本文将介绍常用的最优化方法，梯度下降法，牛顿法，拟牛顿法和共轭梯度法。梯度下降法梯度下降法是我们接触最多的方法，在目标函数是凸函数的时候我们能得到全局最优解。对于一个函数$f(x)$,它的梯度$f'(x)$是$f(x)$的梯度，对于足够小

Thu Jun 18

深度学习

神经网络之循环神经网络

LSTM神经网络RNN的结构开始为了我们能够对比出两种网络的异同，我们还是给出一个泛化的简图。可以清楚看到整个网络虽然叠加多个神经元，但是每个神经元的处理逻辑单一，很容易将信息丢失。LSTM这个时候我们来进入LSTM的认识。LSTM同样是这样的结构，但是重复的模块拥有一个不同的结构。不同于单一神经网络层，这里是有四个，以一种非常特殊的方式进行交互。上面的图并不陌生，很多博客都能见得到，十分权威的一

Thu Jun 18

深度学习

神经网络之深度神经网络

神经网络神经网络是比较初级的一个深度学习模型，但是它的变形有很多种，因为其不可解释的特性，也给这种模型蒙上一层面纱，本章就讲解这个神经网络。下图就是一个简单的神经网络的结构，从整体上看分为输入层、隐藏层、输出层。损失函数首先要确定损失函数是凸函数还是非凸函数，如果是凸函数，那么将会不依赖选取的初始值

Thu Jun 18

深度学习图像算法

图像算法--卷积神经网络

卷积神经网络CNN已经成为图片分类比较成熟的算法，在上一节中我们介绍了卷积，可以在本站点搜索卷积，就能看到卷积的相关介绍，这下可以趁热打铁进入CNN的学习。卷积核上一个文章中我们了解到卷积，下面咱们就来理解一下卷积核了。卷积核的表达式$$f=wx+b$$很简单吧，这就是一个线性关系的表达。咱们来看个

Thu Jun 18

深度学习

神经网络之激活函数

激活函数我们在感知机和BP算法中都提到了激活函数这一个概念，在神经网络一文中也提到这一个概念，我们通过隐藏层来的转换是对原始数据进行线性的转换，例如拉伸和缩小旋转，只有通过非线性的激活函数才能将原始和数据进行扭曲等的操作，既然激活函数这么好，那么我们都有哪些激活函数呢，激活函数之间有什么可以选择的空

Thu Jun 18

深度学习

神经网络之归一化方法

归一化方法我们做机器学习的时候，都会假设数据的原始分布是独立同分布的数据分布(IID) (为什么呢？),但是对于神经网络来讲就层级的网络结构使得底层参数对高层级的输出分布影响很大，所以很难满足这个假设。对于这个问题我们一般引入一个归一化的方法，实际上是通过采取不同的变换方式使得各层输入数据近似满足独立同分布的假设。为什么输入数据要满足独立同分布呢？是独立同分布：在概率统计理论中，如果变量序列或

Thu Jun 18

深度学习

神经网络之感知机

感知机感知机是1957年提出的概念，一直被视为最简单的人工神经网络，也作为二元线性被广泛使用。我们可以将感知机理解成最简单的神经网络，一般解决线性的分类问题。上图就是一个简单的感知机，输入端是x序列，通过权重转换，然后经过激活函数f，最后得到预测分类，如公式1中描述的。$$ y=f(\sum_{i=1}^{n}w_ix_i-\theta) \tag{1}$$import numpy as npn

Thu Jun 18

深度学习

神经网络之参数初始化

参数初始化我们在进行梯度下降算法的时候，需要进行参数初始化的操作，那就有一个貌似不重要的的问题，参数如何初始化，是真的随机初始化吗？本章我们就来讨论这个问题。首先参数初始化应满足如下条件各层激活值不出现饱和现象各层激活值不为0这里你可能会有一个疑问，什么是饱和呢？1.当我们的n趋近于正无穷，激活函数

Thu Jun 18

深度学习图像算法

图像算法--轻量级CNN，MobileNet V2卷积神经网络

MobileNet V2卷积神经网络本篇论文是优化了MobileNet V1的版本的卷积神经网络，和resnet神经网络也有部分相似。首先利用3×3的深度可分离卷积提取特征，然后利用1×1的卷积来扩张通道。用这样的block堆叠起来的MobileNetV1既能减少不小的参数量、计算量，提高网络运算速度，又能的得到一个接近于标准卷积的还不错的结果，看起来是很美好的。问题有人在实际使用的时候，发现深

Thu Jun 18

深度学习图像算法

图像算法--轻量级CNN，MobileNet V1神经网络

MobileNet卷积神经网络卷积神经网络存在什么问题？首先大家要了解原始的卷积神经网络在进行多通道卷积的时候到底是怎么执行的。我们有个三通道的RGB图片，这个时候我们使用一个$3\times 3\times 3$的卷积核来卷积这个图片，很明显最后一个，我们每次卷积都是27个参数一起训练，然后这个卷积核扫描原始的图片一次以后就生成了$4 \times 4$的一个feather map，所以我们在实

神经网络之最优化方法

神经网络之循环神经网络

神经网络之深度神经网络

图像算法--卷积神经网络

神经网络之激活函数

神经网络之归一化方法

神经网络之感知机

神经网络之参数初始化

图像算法--轻量级CNN，MobileNet V2卷积神经网络

图像算法--轻量级CNN，MobileNet V1神经网络

分类

标签云

最新文章

标签

最新文章

Your browser is out-of-date!