本节咱们换个角度来讲Transformer模型，在上一个文章中，主要以计算的过程介绍模型的运行过程，本章中直接对着模型来进行进一步的讲解。通过上文的介绍，知道Transformer模型架构主要分为了编码器和解码器，那么对于模型架构来讲，咱们还是以这两部分分开讲解。编码器在编码器部分主要有两部分组成，一个是多头注意力层，一个是前馈神经网络，并采用残差机制和层归一化的方式链接。如上图的左侧部分。下图是

注意力机制主要是解决当处理大量信息的时候，注意力机制会选择一些关键的信息进行处理，忽略与目标无关的噪声数据，从而提高神经网络的效果。注意力机制注意力机制基本包括三个要素， 请求，键，值，如图1-1就是一个软性的注意力机制。（K，V）是输入的键值对向量数据，包含n项信息，每一项信息的建用kik_{i}ki​表示，值用xix_{i}xi​表示，Q表示与任务相关的查询向量。Value是在给定值的情况，通