之前咱们介绍的都是单一模型的预训练方法，这里介绍一个特殊一点的思路，且不说应用程度怎么样，先看看这个模型的设计思路。ELECTRAELECTRA是使用对抗网路的思路进行预训练的方式。其中生成器，一个小的MLM，就是在[MASK]的位置预测原来的词。判别器判断的是输入句子中的每个词是否被替换，需要注意的是这里没有下一句的预测任务。接下来我们来看每个模块。生成器对于生成器来说，其目的是将带有掩码的输入

iGPT最近ChatGPT突然间火了起来，其实图像领域也有类似的模型，叫做iGPT。不仅在图像识别还有在图像补全上都起到很好地作用。

从本章节开始我们准备进入一个新的领域进行学习，元学习（meta learning），听起来是不是屌屌的，确实是这样，这里我们不得不总结一下之前咱们介绍各种的学习方法，包括经典的学习方法和神经网络的学习方法，毫不意外的它们有一个共同且残酷的名字(Weak AI)，是的凡是针对一个特定的一个领域进行学习的，都可以称之为弱学习器。而本章节的介绍的一系列建模方法它们学习的方式和角度与之前的学习方法会有很大