胜多负少

本节咱们换个角度来讲Transformer模型，在上一个文章中，主要以计算的过程介绍模型的运行过程，本章中直接对着模型来进行进一步的讲解。通过上文的介绍，知道Transformer模型架构主要分为了编码器和解码器，那么对于模型架构来讲，咱们还是以这两部分分开讲解。编码器在编码器部分主要有两部分组成，一个是多头注意力层，一个是前馈神经网络，并采用残差机制和层归一化的方式链接。如上图的左侧部分。下图是

本节继续来介绍新的网络结构SENet网络SENet的提出动机十分简单。传统的方法将网络的特征图的值直接传递到下一层，而SENet的核心是建模通道之间的依赖关系，通过网络的全局损失函数自适应的重新校正通道之间的特征的相应的强度。SENet是由一系列的SE块组成，一个SE块包括压缩和激发两个步骤，其中压缩是通过特征图上执行全局平均池化得到当前特征图的全局压缩特征向量，特征图通过两层全连接得到特征图中每

注意力机制主要是解决当处理大量信息的时候，注意力机制会选择一些关键的信息进行处理，忽略与目标无关的噪声数据，从而提高神经网络的效果。注意力机制注意力机制基本包括三个要素， 请求，键，值，如图1-1就是一个软性的注意力机制。（K，V）是输入的键值对向量数据，包含n项信息，每一项信息的建用kik_{i}ki​表示，值用xix_{i}xi​表示，Q表示与任务相关的查询向量。Value是在给定值的情况，通

今天来介绍另一个复杂的模型LSTNet模型， 这个时序模型是专门解决多元时间预测问题的，多元时间预测哦。 模型结构十分复杂，其中很多设计还是能有很多借鉴作用的，希望大家能够学习并且用到实际工作中。LSTNet模型结构

今天要讲的这个网络同样是出自阿里巴巴，这个模型能够被提出来的核心点是阿里巴巴想通过模型模拟了用户兴趣的进化过程。玄乎一点就是想你和用户兴趣转移过程，这一点被提出来还是十分吸引人的。那么接下来咱们就看看DIEN的“进化”动机。DIEN模型上文提到了，如果想要刻画出用户兴趣转移应该从哪方面入手呢？ 刻画一个事务的变化过程一定是通过一个序列进行表达是最合适的，所以大方向确定了，接下来咱们看看是如何使用的

今天要说的DIN模型是产自阿里巴巴推荐团队，它的应用场景是阿里巴巴的电商广告推荐。无论是用户还是广告，都含有两个非常重要的特征--商品id(good_id)和商铺id(shop_id)。用户特征里的商品id是一个序列， 代表用户曾经点击过的商品集合，商铺id 同理;而广告特征里的商品 id 和商铺 id 就是广告对应的商品 id 和商铺 id。基于base模型的一些缺点，例如用户特征组中的商品序列

seq2seq处理人工翻译的时候会有一个问题，就是当句子特别长的时候问你会发现翻译的效果并不是特别好，至于原因呢就是seq2seq学习的时候对信息遗忘严重，为了解决这个问题，就有研究者提出了加入Attention的机制来解决这个问题，核心就是我们在解决一个问题的时候只关注某些关键信息就够了，并不要全

GRAPHATTENTIONNETWORKS图注意力神经网络是既GCN神经网络后，有一个图结构深度学习的网络，本节我们来学习。原文地址可以点击GRAPHATTENTIONNETWORKS下载。在原来的GCN神经网络中，我们能够理解到GCN是存在一定的局限性的，在如下的场景下。GCN无法完成处理动态图