MOE结构MOE结构是DeepSeek比较大的创新， 不管是从模型性能上，还是计算性能上， 都是非常好的设计。这一个部分其实替换掉传统的Transformer中的FFN的结构。我们来分开看当前的网络结构专家网络MOE结构中有多个专家网络，设计的预期是希望能够让多个专家能够各自负责不同领域的知识内容，完成任务的结构。门控网路门控专家是整个网路的一个路由，这个路由是要识别不同问题需要找那些专家。这个部

胜多负少

这一章我们介绍一下llama模型， 这一模型目前在开源领域十分出名，llama模型是一个训练模型，负责语义理解的编码。接下来我们就来看看这个模型。llama 1模型llama 1模型结构llama模型也是基于Transformer的模型架构，但是在Transformer上做了一些修改，第一个修改就是收到GPT3的启发的预归一化动作，就是在每个Transformer子层之前对输入进行归一化，而不是在

本节咱们换个角度来讲Transformer模型，在上一个文章中，主要以计算的过程介绍模型的运行过程，本章中直接对着模型来进行进一步的讲解。通过上文的介绍，知道Transformer模型架构主要分为了编码器和解码器，那么对于模型架构来讲，咱们还是以这两部分分开讲解。编码器在编码器部分主要有两部分组成，一个是多头注意力层，一个是前馈神经网络，并采用残差机制和层归一化的方式链接。如上图的左侧部分。下图是

本节要详细介绍一些Transformer这个常用的神经网络组件，会举一些十分详细的例子，目的是将这个网络结构讲清楚。TransformerTransformer结构是主要是编码器和解码器组成，Transformer逐渐其实是并且了经典的LSTM循环的机构，使用了一种自注意力的机制。这些我们举一个机器翻译的例子，来讲解整个过程。编码器编码器的主要作用是从输入的语句中尽可能多的提取特征，其结构如图2-