GPT 的现状（State of GPT）
输入“/”快速插入内容
GPT 的现状（State of GPT）
GPT 的现状（State of GPT）
•
•
•
发布时间：2023 年 5 月 24 日
•
翻译缘起：在《A16Z 推荐的 AI 学习路径》中，这篇演讲作为了入门第二篇文章进行推荐，所以有了翻译的念头，翻译过程中陆续看到网上有不同的翻译版本和视频版本，这个版本并不完美，可与其它版本对照来看，如有纰漏还恳请指正，谢谢。
中文翻译
ANDREJ KARPATHY：大家好，我很高兴在这里向大家介绍 GPT 的现状。更广泛地，我想谈谈迅速发展的大型语言模型生态系统。所以我想把这次演讲分为两部分：
•
在第一部分，我想告诉你们我们是如何训练 GPT 助手的。
•
在第二部分，我们将研究如何有效地将这些助手用于您的应用程序。
一、如何训练 GPT 助手
首先，让我们来看看训练这些助手的新兴配方。请记住，这一切都是非常新的，因此在快速发展。但到目前为止，这个配方大致如下：
现在这是一个比较复杂的幻灯片，所以我会逐步解释它。大体而言，我们有四个主要阶段：预训练、有监督微调、奖励建模、强化学习。它们是按顺序依次执行的。
现在，在每个阶段中，我们都有一个数据集来支持该阶段。我们有一个算法，这对于我们来说是一个训练神经网络的目标。然后我们得到了一个模型。底部还有一些注释。