激活函数我们在感知机和BP算法中都提到了激活函数这一个概念，在神经网络一文中也提到这一个概念，我们通过隐藏层来的转换是对原始数据进行线性的转换，例如拉伸和缩小旋转，只有通过非线性的激活函数才能将原始和数据进行扭曲等的操作，既然激活函数这么好，那么我们都有哪些激活函数呢，激活函数之间有什么可以选择的空

归一化方法我们做机器学习的时候，都会假设数据的原始分布是独立同分布的数据分布(IID) (为什么呢？),但是对于神经网络来讲就层级的网络结构使得底层参数对高层级的输出分布影响很大，所以很难满足这个假设。对于这个问题我们一般引入一个归一化的方法，实际上是通过采取不同的变换方式使得各层输入数据近似满足独立同分布的假设。为什么输入数据要满足独立同分布呢？是独立同分布： 在概率统计理论中，如果变量序列或

感知机感知机是1957年提出的概念，一直被视为最简单的人工神经网络，也作为二元线性被广泛使用。我们可以将感知机理解成最简单的神经网络，一般解决线性的分类问题。上图就是一个简单的感知机，输入端是x序列，通过权重转换，然后经过激活函数f，最后得到预测分类，如公式1中描述的。$$ y=f(\sum_{i=1}^{n}w_ix_i-\theta) \tag{1}$$import numpy as npn

参数初始化我们在进行梯度下降算法的时候，需要进行参数初始化的操作，那就有一个貌似不重要的的问题，参数如何初始化，是真的随机初始化吗？本章我们就来讨论这个问题。首先参数初始化应满足如下条件各层激活值不出现饱和现象各层激活值不为0这里你可能会有一个疑问，什么是饱和呢？1.当我们的n趋近于正无穷，激活函数

面试问题常见的面试问题进行部分整理，可能没有权威性，但是还算经典吧。最大公约数和最小公倍数int gcd(int a,int b){ int min; int g; if(a<=0 || b <= 0)return -1; if(a > b) { min = b; } else { min = a; } while(min) { if(a % min == 0 &&

面试问题整理恍惚如昨日，自己也面试很多次，经常给别人说一些面试鬼论，这里就不说这些策略上的事情了，从毕业到现在对面试的问题也进行了部分整理，希望对大家有用。一张图首先看一张图，整理的很多常见的数据结构的复杂度，比较全。排序快速排序voidqsort(int*a,intleft,intright){i

MobileNet V2卷积神经网络本篇论文是优化了MobileNet V1的版本的卷积神经网络，和resnet神经网络也有部分相似。首先利用3×3的深度可分离卷积提取特征，然后利用1×1的卷积来扩张通道。用这样的block堆叠起来的MobileNetV1既能减少不小的参数量、计算量，提高网络运算速度，又能的得到一个接近于标准卷积的还不错的结果，看起来是很美好的。问题有人在实际使用的时候， 发现深

MobileNet卷积神经网络卷积神经网络存在什么问题？首先大家要了解原始的卷积神经网络在进行多通道卷积的时候到底是怎么执行的。我们有个三通道的RGB图片，这个时候我们使用一个$3\times 3\times 3$的卷积核来卷积这个图片，很明显最后一个，我们每次卷积都是27个参数一起训练，然后这个卷积核扫描原始的图片一次以后就生成了$4 \times 4$的一个feather map，所以我们在实

GRAPHATTENTIONNETWORKS图注意力神经网络是既GCN神经网络后，有一个图结构深度学习的网络，本节我们来学习。原文地址可以点击GRAPHATTENTIONNETWORKS下载。在原来的GCN神经网络中，我们能够理解到GCN是存在一定的局限性的，在如下的场景下。GCN无法完成处理动态图

原型神经网络我们了解很多深度学习和机器学习的算法，但是有一个痛点，我们要求数据量极大，因为参数量极大，这个时候怎么办？我们还是期望能够使用较少的数据学到更大的信息量，这才是我们的目标，本章节中讲到的就是这类问题的学习方法，我们称之为小样本学习。在本文的最后有一篇讲PrototypicalNetwor

今天我们来看一篇经典的论文，Semi-SupervisedClassificationwithGraphConvolutionalNetworks,这个论文一个经典的讲gcn的论文。我们经常遇到的卷积学习都是图上的卷积，具体形式可以在本站搜索『卷积神经网络』，我们发现卷积核都是方方正正的，就像为图片

TF-IDF对于文档搜索中tf-idf应用非常广泛，甚至在es数据库中作为默认的检索方式，这里就简单介绍一个tf-idf算法。首先思考一个问题，假如我们对一系列文章进行分词统计等操作，如果某个词出现的特别多，那么它是不是很重要呢？于是，我们进行"词频"（TermFrequency