大模型预训练--llama模型

这一章我们介绍一下llama模型， 这一模型目前在开源领域十分出名，llama模型是一个训练模型，负责语义理解的编码。接下来我们就来看看这个模型。llama 1模型llama 1模型结构llama模型也是基于Transformer的模型架构，但是在Transformer上做了一些修改，第一个修改就是收到GPT3的启发的预归一化动作，就是在每个Transformer子层之前对输入进行归一化，而不是在