MOE结构MOE结构是DeepSeek比较大的创新， 不管是从模型性能上，还是计算性能上， 都是非常好的设计。这一个部分其实替换掉传统的Transformer中的FFN的结构。我们来分开看当前的网络结构专家网络MOE结构中有多个专家网络，设计的预期是希望能够让多个专家能够各自负责不同领域的知识内容，完成任务的结构。门控网路门控专家是整个网路的一个路由，这个路由是要识别不同问题需要找那些专家。这个部

iGPT最近ChatGPT突然间火了起来，其实图像领域也有类似的模型，叫做iGPT。不仅在图像识别还有在图像补全上都起到很好地作用。