图表示学习图结构是一个高维稀疏的数据表示，那么图表示学习是将这个高维稀疏的数据映射成低维度稠密的数据，这就是图表示学习的要解决的核心问题。图表示学习一般有两种方式，一种是顶点嵌入，另一种是整图学习。顶点嵌入一般是针对顶点维度，将每个订单映射成一个低维的向量表达，这种方式表达的粒度比较细，一般用于节点层面的预测或者节点分类。整图的表示学习则是针对全图生成一个向量，这种图表示学习方式粒度较粗，一般用于

BN(Batch Normalization)BN是深度学习中缓解过拟合的一个非常常见的手段，不仅能有效的解决梯度爆炸的问题，而且加入了BN的网络往往是更加稳定的还具有一定的正则化的作用。梯度饱和问题日常工作中我们经常使用的sigmod激活函数或者tanh激活函数存在饱和的区域，其原因是激活函数输入值过大或者过小，导致的激活函数的梯度接近于0，使得网络收敛过慢。传统的方法是使用Relu激活函数。B

本文主要介绍两类常以网络层形式添加模型结构中，一类是Dropout，一类是归一化。DropoutDropout是当发生过拟合以后，第一个考虑使用的网络结果。在训练、

今天咱们通过自然语言处理的视角重新看循环神经网络这一模型。模型结构

注意力机制主要是解决当处理大量信息的时候，注意力机制会选择一些关键的信息进行处理，忽略与目标无关的噪声数据，从而提高神经网络的效果。注意力机制注意力机制基本包括三个要素， 请求，键，值，如图1-1就是一个软性的注意力机制。（K，V）是输入的键值对向量数据，包含n项信息，每一项信息的建用kik_{i}ki​表示，值用xix_{i}xi​表示，Q表示与任务相关的查询向量。Value是在给定值的情况，通

图神经网络的发展经历了几个阶段，也体现了研究工作者在研究工作上精益求精的态度，接下来咱们一起看看这个发展历程。基于谱分解的方法基于谱分解的方式是2014年提出的，Spectral Network在傅里叶中定义了卷积的运算。该运算可以被定义为信号x（每个节点对应该向量中的一个标量）和一个卷积核gθ=diag(θ)g_{\theta}=diag(\theta)gθ​=diag(θ)的乘积gθ⋆x=Ug

今天我们来介绍一种比较特殊的网络，孪生神经网络。这也是实现元学习的一种常见的方式。我们先来抛出一个问题，目前市面上人脸识别的应用十分多，那么它们是怎么做到的呢？如果让你来做一个人脸识别的应用，你怎么来实现这个算法呢？第一时间你的的想法是不是老子搞它每个人N多的数据集，然后弄个M分类，这样每次就变成一个图片识别的任务，easy。想想其实也是可以的，但是似乎不太符合时间，哪里弄来这么多的人的样本呢？话

本章节中我们来介绍一个具有适应能力的神经网络学习框架CSN，接下来咱们就来看看这个网络是如何学习的。网络整体架构上面这个图是整个学习框架的整体架构，接下来我们来一点一点的讲解其中的细节。假设我们一大批数据的训练任务已经训练好，突然来了一个新的任务，怎么把我们已经训练好的网络进行一定的复用快速的应用到新任务呢？这就是本文一个要解决的问题。$$\begin{cases}\begin{align}\en

从本章节开始我们准备进入一个新的领域进行学习，元学习（meta learning），听起来是不是屌屌的，确实是这样，这里我们不得不总结一下之前咱们介绍各种的学习方法，包括经典的学习方法和神经网络的学习方法，毫不意外的它们有一个共同且残酷的名字(Weak AI)，是的凡是针对一个特定的一个领域进行学习的，都可以称之为弱学习器。而本章节的介绍的一系列建模方法它们学习的方式和角度与之前的学习方法会有很大

如果想了解GAE其实从VAE了解比较好，下面我就先来讲讲VAE自编码器。VAEVAE(VariationalAuto-encoder)图自编码器，是一种和GAN类似的神经网络。那么VAE有什么作用？它主要的解决问题的场景是，你给我一个向量，我给你一张图片，例如我想生成一个猫的图片，你的输入可以是描述