本节要详细介绍一些Transformer这个常用的神经网络组件，会举一些十分详细的例子，目的是将这个网络结构讲清楚。TransformerTransformer结构是主要是编码器和解码器组成，Transformer逐渐其实是并且了经典的LSTM循环的机构，使用了一种自注意力的机制。这些我们举一个机器翻译的例子，来讲解整个过程。编码器编码器的主要作用是从输入的语句中尽可能多的提取特征，其结构如图2-

Seq2Seq模型对于一些自然语言处理任务，比如聊天机器人，机器翻译，自动文摘等，传统的方法都是从候选集中选出答案，这对素材的完善程度要求很高，随着最近几年深度学习的兴起，国外学者将深度学习技术应用与自然语言的生成和自然语言的理解的方面的研究，并取得了一些突破性的成果，比如，Sequence-to-

seq2seq处理人工翻译的时候会有一个问题，就是当句子特别长的时候问你会发现翻译的效果并不是特别好，至于原因呢就是seq2seq学习的时候对信息遗忘严重，为了解决这个问题，就有研究者提出了加入Attention的机制来解决这个问题，核心就是我们在解决一个问题的时候只关注某些关键信息就够了，并不要全