今天突然想写一些比较虚的东西。想结合人类的决策因素来讲讲我对人工智能的理解。人来“决策”每个人在生活中要面临各种各样的决策/判定，那么一个问题是我比较好奇的， 我们平时决策的时候究竟有哪些因素影响我们，能让我们在漫漫人生长河中能做出来相对正确的决策到底是因为什么呢？ 如果能搞清楚，是不是就能推导出模型学习的过程到底在做什么呢？这个就是今天咱们要聊的核心话题。如果让你来给出一个事情的观点，你觉得需要

图表示学习图结构是一个高维稀疏的数据表示，那么图表示学习是将这个高维稀疏的数据映射成低维度稠密的数据，这就是图表示学习的要解决的核心问题。图表示学习一般有两种方式，一种是顶点嵌入，另一种是整图学习。顶点嵌入一般是针对顶点维度，将每个订单映射成一个低维的向量表达，这种方式表达的粒度比较细，一般用于节点层面的预测或者节点分类。整图的表示学习则是针对全图生成一个向量，这种图表示学习方式粒度较粗，一般用于

BN(Batch Normalization)BN是深度学习中缓解过拟合的一个非常常见的手段，不仅能有效的解决梯度爆炸的问题，而且加入了BN的网络往往是更加稳定的还具有一定的正则化的作用。梯度饱和问题日常工作中我们经常使用的sigmod激活函数或者tanh激活函数存在饱和的区域，其原因是激活函数输入值过大或者过小，导致的激活函数的梯度接近于0，使得网络收敛过慢。传统的方法是使用Relu激活函数。B

本文主要介绍两类常以网络层形式添加模型结构中，一类是Dropout，一类是归一化。DropoutDropout是当发生过拟合以后，第一个考虑使用的网络结果。在训练、

今天咱们通过自然语言处理的视角重新看循环神经网络这一模型。模型结构

注意力机制主要是解决当处理大量信息的时候，注意力机制会选择一些关键的信息进行处理，忽略与目标无关的噪声数据，从而提高神经网络的效果。注意力机制注意力机制基本包括三个要素， 请求，键，值，如图1-1就是一个软性的注意力机制。（K，V）是输入的键值对向量数据，包含n项信息，每一项信息的建用kik_{i}ki​表示，值用xix_{i}xi​表示，Q表示与任务相关的查询向量。Value是在给定值的情况，通

图神经网络的发展经历了几个阶段，也体现了研究工作者在研究工作上精益求精的态度，接下来咱们一起看看这个发展历程。基于谱分解的方法基于谱分解的方式是2014年提出的，Spectral Network在傅里叶中定义了卷积的运算。该运算可以被定义为信号x（每个节点对应该向量中的一个标量）和一个卷积核gθ=diag(θ)g_{\theta}=diag(\theta)gθ​=diag(θ)的乘积gθ⋆x=Ug

Dueling DQNDueling DQN（竞争强化网络）的思路是将原始的Q值，拆成两个部分，一部分是动作无关的值函数V，另一个是在这个状态下各个动作的优势函数a。下图让我们看下一个Dueling DQN和传统DQN网络的区别，这个也是唯一的区别。主要的区别是在末尾出的特征拆解，上路用于预测V，表示静态状态空间的本身具有的价值，一部分用于预测a，表示选择动作以后获得的额外价值。然后汇聚到一起预测

今天我们来介绍一种比较特殊的网络，孪生神经网络。这也是实现元学习的一种常见的方式。我们先来抛出一个问题，目前市面上人脸识别的应用十分多，那么它们是怎么做到的呢？如果让你来做一个人脸识别的应用，你怎么来实现这个算法呢？第一时间你的的想法是不是老子搞它每个人N多的数据集，然后弄个M分类，这样每次就变成一个图片识别的任务，easy。想想其实也是可以的，但是似乎不太符合时间，哪里弄来这么多的人的样本呢？话

本章节中我们来介绍一个具有适应能力的神经网络学习框架CSN，接下来咱们就来看看这个网络是如何学习的。网络整体架构上面这个图是整个学习框架的整体架构，接下来我们来一点一点的讲解其中的细节。假设我们一大批数据的训练任务已经训练好，突然来了一个新的任务，怎么把我们已经训练好的网络进行一定的复用快速的应用到新任务呢？这就是本文一个要解决的问题。$$\begin{cases}\begin{align}\en