从GPT1到GPT4

监督学习

监督学习（Supervised Learning）是机器学习的一种核心方法，通过输入-输出对（标注数据） 训练模型，使模型能够学习输入与输出之间的映射关系，从而对新的未知数据进行预测。

GPT-1前身

在 GPT-1 出现之前，构建高性能 NLP 神经网络的常用方法是 监督学习 。这种学习技术使用大量的手动标记数据。以情感分析任务为例，目标是对给定的文本进行分类，判断其情感是正面的还是负面的。一种常见的策略是，收集数千个手动标记的文本示例来构建有效的分类模型。然而，这需要有大量标记良好的监督数据。

GPT-1

2018 年年中，就在 Transformer 架构诞生一年后，OpenAI 发表了一篇题为“Improving Language Understanding by Generative Pre-Training”的论文，作者是 Radford 等人。这篇论文介绍了 GPT，也被称为 GPT-1。
GPT-1引入了 无监督的预训练步骤 。这个预训练步骤不需要标注数据，而是通过训练模型来预测下一个词元。由于采用了可以并行化的Transformer 架构，预训练步骤是在大量数据上进行的。
GPT-1 是小模型，它无法在不经过微调的情况下执行复杂任务。因此，人们将 微调作为第二个监督学习步骤 ，让模型在一小部分手动标记的数据上进行微调，从而适应特定的目标任务。比如，在情感分析等分类任务中，可能需要在一小部分手动标记的文本示例上重新训练模型，以使其达到不错的准确度。这个过程使模型在初始的预训练阶段习得