GPT 的现状

本文是对 Andrej Karpathy 的在 2023 年 3 月份的 Microsoft Build 演讲的整理。演讲 Beamer 可见于：https://karpathy.ai/stateofgpt.pdf

演讲介绍了 GPT 的训练过程，发展地步，当前的 LLM 生态以及未来展望，在一年后的今天也没有过时，完全可以与当下的实际发展对比阅读、分析。

Overview

pretraining 部分占据了绝大部分训练时间，后面的三个阶段都是 fine-tuning 阶段。

Data collection

Training data mixture used in Meta’s LLaMA model

Composition of the mixture：

CommonCrawl: 普通的网络爬虫
C4：Common Crawl 的一个巨大而干净的版本。
其它高质量数据集如图所示

这些知识混合在一起，然后根据给定的比例进行采样，构成了 GPT 神经网络的训练集。

Pre-training

实际训练前，需要进行预处理步骤如下。

tokenization

基本上是把互联网上爬取的原始文本转译为整数序列（sequence of integers）的无损转换过程。

Tokenization

可以使用像byte-pair encoding（BPE）的方法，迭代合并小文本块并将它们分组为token

Transformer hyperparameters

Transformer 神经网络的超参数表格

Vocabulary Size（词汇表大小）:
- 词汇表大小指的是模型能够识别和生成的唯一词汇（包括单词、字符或子词单元）的总数。这个数字定义了模型输入和输出的可能性范围。
- 类比Bigram中，我们指定的是输出预测的字母，因此是”字符表”，大小为 27
Context Length（上下文长度）:
- 上下文长度指的是模型在处理文本时能够考虑的最大单元数（通常是词或者 token）的数量。这个长度定义了模型在生成文本或理解文本时能够回顾的信息量。
- NPLM模型中，上下文长度就被设为 3，也就是通过前 3 个 token 预测下一个。
- 如今 GPT4 等模型可以接受十万多的输入。
参数量（Parameters）

参数量指的是构成模型的参数的总数，这些参数在训练过程中学习并调整，以最小化预测误差。参数可以是权重（weights）和偏置（biases），它们在神经网络中用于处理输入数据，进行变换，并最终生成输出。模型的参数量是衡量模型大小和复杂度的一个直接指标。
NPLM中的这段代码中就统计了模型的参数量，并尝试了通过增加隐藏层神经元数等方式来加大参数量改善拟合。

g = torch.Generator().manual_seed(2147483647)
C = torch.randn((27,2), generator=g)
W1 = torch.randn((6,100), generator=g)
b1 = torch.randn(100, generator=g)
W2 = torch.randn((100,27), generator=g)
b2 = torch.randn(27, generator=g)
parameters = [C, W1, b1, W2, b2]
 
sum(p.nelement() for p in parameters)

Training Tokens Total（训练的 token 总量）:
- 训练的 token 总量指的是在训练过程中模型处理的 token（可以是单词、字符或子词单元）的总数。这个数字反映了模型训练过程中”看到”和学习的数据量。
- 类比姓名数据集中，一共有 30k 数据，那可以理解为 $3\times10^{-5}B$ （1B 是 $10^9$ ，即十亿）。

可以看到，LLaMA 的训练量十分之大，用更长的训练时间取得了比 GPT-3 更好的效果，因此不能只根据模型的参数量来判断性能。

Training progress

最开始的时候，模型的权重是随机的，因此采样结果是完全随机的。随着训练时间增常，从模型中获取的样本就会越来越连贯而一致。从图中最后可以看出，这个 GPT 模型已经学到了单词、空格和标点符号等方面的知识。

Training curve

随着训练进度推移，关注的重点是损失函数的变化，低损失意味着这个 Transformer 模型对序列中正确的下一个整数给予了更高的概率。

GPT 学习到了强大的general representations，也可以非常高效的地去微调，适用于任意下游任务。

以情感分类任务为例子，我之前正好参与过相关研究，当时是调用了百度的某个情感分析 API 来对我们收集到的数据进行积极、消极判断等处理，得到监督学习中可以使用的数据，然后再用其它 NLP 模型进行训练。但 GPT 出现后，完全可以先忽略情感分类去做 LLM 的预训练，用少量的数据高效微调针对这一任务的 Transformer 模型。

这是因为 Transformer 模型在语言建模任务中被强制执行了大量的multitask，它被迫要了解文本的结构和其中所有不同的概念来预测下一个 token。这是 GPT-1 阶段。

在 GPT-2 阶段，人们注意到使用prompt（提示词）实际上比微调更好、更有效。

Base model ≠ Assistant

基础模型并非我们平时使用的 ChatGPT，我们使用的是 GPT 模型的 api 如 Davinci、3.5 Turbo，它们是助手。而真正的基础模型并不是assistant，只是想补全文件：

Base model

你你可以通过创建特定的few-shot prompt来讲基础模型变为助手，让它看看起来像是有一个中间的交互文档，然后将你的查询放在末尾，基础模型就会自我调整为一个能帮忙的助手回答问题。但这不太可靠并且效果欠佳，所以创建实际的 GPT 助手走了一条不同的的路。

Supervised Finetuning

Supervised finetuning

这个阶段收集小而高质量的数据集，用众包的形式，人工收集 prompt 和理想回应的数据。继续对这些数据进行语言建模，算法不变，只是更换了数据集。训练得到一个 SFT(Supervised Fine-Tuning) 模型，这是可部署的真正助手，有一定效果。

SFT example

示意图，众包工人撰写的回应被要求友好、真实和无害，并遵循着指示文件。

RLHF pipeline

acronym of reinforcement learning from human feedback

Reward Modeling

Reward modeling

这个阶段，我们将收集到的数据转为Comparisons的形式，用相同的 prompt，来要求助手完成任务，让训练好的 SFT 模型创建多个版本的回答，再让人们去评估哪个版本更好（这个很费时费力）

Reward comparison

然后对这些版本进行分类，做法是在最后添加一个特殊的reward token，然后基本上只监督这个 (绿色)token 上用 Transformer。Transformer 会预测完成某个 prompt 的回答对应的奖励，根据人工标注的真实奖励标签转化为损失函数，然后训练我们的模型，让它产生和人工众包的评估事实一致的对奖励的预测。

Reward model training

建立好奖励模型后，它本身作为助手还不是很有用，但是对接下来的强化学习阶段十分有用。

Reinforcement Learning

Reinforcement learning

根据奖励模型，我们可以为任何给定 prompt 的 completion 完成质量打分。这个阶段将针对奖励模型来进行强化学习。

现在的训练目标是 (黄色的)completion。使用 SFT 模型对不同 prompt 创建一些 completion，然后再次添加奖励 token，根据已经固定的奖励模型指示的奖励来权衡语言建模目标。

RLHF training

图中可以看出，高绝对值的 reward 会增加未来 token 采样的权重。

在大量 prompt 和 batches 上迭代，获得了能创建在奖励模型中取得高分的 completion 的策略。

得到了一个可部署的 RLHF 模型。

Why RLHF?

Why RLHF

表现更好，人类更喜欢它们生成的回答。

一种解释可能：判断比较和生成的难度是不对等的，比如相比于创作一个优秀的俳句 (一种日本的古典短诗)，判断几个俳句中哪个写的更好显然更简单。这可以潜在地利用人类的判断力，创建更好的模型。

但也因此，相较于 Basemodel，RLHF 后的模型失去了一些熵。也就是说模型输出的变换很小，而 basemodel 具有很高的熵，并产生多种可能的输出。因此在类似”生成更多 Pokemon 名字”的任务中，basemodel 也许更擅长。

Apply LLM Assistant

Chain of thought

aka COT

当人类写作的时候，我们内心有一个独立的过程——总是在审视我们所写的内容，并判断写的是否 good enough，我们可能删掉一部分或者重新写，然后对结果满意。

而在 GPT 的视角，这只是一系列 token，它会查看每个 token 并在每个 token 上花费等量的计算，完全不会有上述的内心独白。也就是说，Transformers 模型就相当于 token 模拟器，它们不知道自己善于或不擅长什么，只是拟合下一个 token。模型不会对任何内容做反馈、合理性检查或是纠错。

GPT 通过存储大量领域的基于事实的知识，用几十亿个参数存储，拥有很强的工作记忆力。因此，在上下文长度范围内的任何内容都可以通过 Transformer 内部的自注意力机制立即获得，无损地记住这些内容。相当于是有限的完美记忆。

Prompting 只是弥补人脑和”LLM 脑”之间的认知差异的一种方式。因此实践中，如果你在做需要推理能力的任务，你不能指望 Transformer 能对每个 token 都做太多推理，所以你必须将推理分散到更多 token 中。

Chain of thought