大模型学习笔记 03：GPT 为什么能写文章？关键是不断预测下一个 Token

GPT 能写文章的本质：在已有上下文上不断预测下一个 Token。从训练目标、采样参数、预训练与微调的分工，到「流畅不等于正确」，一篇文章讲清大模型生成原理。

看着 GPT 一口气写出一大段话，很容易以为它先在脑中拟好了完整答案。实际上，它通常是在已有上下文上预测下一个 Token，选出来以后追加到上下文，再继续预测下一个。

上下文 -> 预测下一个 Token -> 追加 Token -> 新上下文 -> 再预测

预训练把大量文本转成 token 序列，让模型学习“给定前文，后一个 token 是什么”。训练目标可以理解为不断提高真实下一个 token 的概率。这个目标简单、数据易得，却能迫使模型压缩语言、事实关系、文体和任务模式等统计规律。

一个看似简单的目标，为什么能长出很多能力

要准确预测下一段文字，模型必须利用前文中的实体、语法、主题和潜在关系。例如回答一个问题时，后续文本常常包含答案；写代码时，后续 token 受语法和调用模式约束；续写故事时，人物和情节状态会影响接下来的内容。单一训练目标因此能支持多种行为，但“能续写”不等于每次都知道事实。

采样参数改变的是选择，不是知识

模型给出的不是唯一答案，而是概率分布。贪心解码每次选概率最高的 token，通常更稳定但可能重复；随机采样更有变化；temperature 会调整分布的尖锐程度。参数调节改变的是输出选择，不会凭空增加模型知识，也不能保证事实正确。

预训练和微调各自负责什么

预训练让模型形成通用表示和续写能力。后续监督微调用示例告诉模型“遇到某类指令，怎样组织回答”；偏好优化进一步影响不同候选回答的取舍。它们是在已有底座上塑造行为，不是从零开始写入一套可靠数据库。

流畅不等于正确

下一个 token 预测优化的是训练分布上的文本概率，不是外部世界中的真值。一个听起来连贯的回答，可能只是符合语言模式。需要最新信息、精确数字或可追责结论时，应引入可信来源、工具、校验或人工审核。

这也是大模型最有意思、也最容易让人误判的地方：同一个机制既让它能迁移到很多任务，也让它可能把“听起来合理”误当成“事实正确”。需要最新信息、精确数字或可追责结论时，还是要接入来源、工具和校验。

Token 也值得单独说一下。它不是“一个汉字”或“一个单词”的固定单位，而是 tokenizer 根据词表切出来的片段。中文、英文、代码和数字的切分方式可能完全不同，所以同样长度的两段文字，消耗的 token 数并不一样。上下文窗口、费用和限流，最后都按 token 计算，这也是为什么做应用时不能只用字符数估算成本。

再往前一步，生成过程还解释了为什么回答会有随机性。模型给出的只是概率分布，temperature、top-p 等参数改变的是我们如何从分布里取样。参数调低通常更稳定，调高可能更有变化，但它们都没有替模型接入新的事实来源。要解决事实问题，还是得从数据和工具链入手。

生成长度也会影响回答质量。模型每多生成一个 token，就多一次把自己的输出当作上下文的机会；一开始的小错误可能在后面被继续展开。限制最大输出、要求结构化格式、在关键步骤调用工具，都是降低错误扩散的办法。

我觉得“预测下一个 token”这个说法最容易让人低估模型。推理、写代码、总结和对话可以看起来很不同，但底层输出接口仍然是一串 token 的概率选择。理解这个共同底座，才能把不同应用放到同一张图里比较。

参考：《大规模语言模型：从理论到实践》，第 2 章 2.2 节，PDF 第 36-42 页。本文为学习整理与独立阐释。

转载自： https://www.cnblogs.com/hazy-star/p/23383091