微调（Fine-tuning）

了解如何为您的应用程序定制模型。

介绍

通过提供以下内容，微调可让您从 API 提供的模型中获得更多收益：​

1.
比即时设计更高质量的结果​

2.
能够训练比提示中更多的例子​

3.
由于更短的提示而节省了Token​

4.
更低的延迟请求​

GPT-3 已经在来自开放互联网的大量文本上进行了预训练。当给出仅包含几个示例的提示时，它通常可以凭直觉判断出您要执行的任务并生成合理的完成。这通常称为“小样本学习”。​

微调通过训练比提示中更多的示例来改进小样本学习，让您在大量任务中取得更好的结果。对模型进行微调后，您将不再需要在提示中提供示例。这样可以节省成本并实现更低延迟的请求。​

在高层次上，微调涉及以下步骤：

1.
准备和上传训练数据​

2.
训练新的微调模型​

3.
使用您的微调模型​

哪些模型可以微调？

微调目前仅适用于以下基础模型：davinci、curie、babbage和ada。这些是原始模型，在训练后没有任何说明（例如text-davinci-003）。您还可以继续微调微调模型以添加其他数据，而无需从头开始。​

安装

我们建议使用我们的 OpenAI 命令行界面 (CLI)。要安装这个，运行​

代码块

pip install --upgrade openai

（以下说明适用于0.9.4及更高版本。此外，OpenAI CLI 需要 python 3。）​

OPENAI_API_KEY通过将以下行添加到您的 shell 初始化脚本（例如 .bashrc、zshrc 等）或在微调命令之前的命令行中运行它来设置您的环境变量：​

代码块

export OPENAI_API_KEY="<OPENAI_API_KEY>"

准备训练数据

训练数据是你如何教 GPT-3 你想让它说什么。

您的数据必须是JSONL文档，其中每一行都是一个提示完成对，对应于一个训练示例。您可以使用我们的CLI 数据准备工具轻松地将您的数据转换成这种文件格式。​

代码块

{"prompt": "<prompt text>", "completion": "<ideal generated text>"}​
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}​
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}​
...​

设计用于微调的提示和补全不同于设计用于我们的基本模型（Davinci、Curie、Babbage、Ada）的提示。特别是，虽然基础模型的提示通常包含多个示例（“小样本学习”），但对于微调，每个训练示例通常包含一个输入示例及其相关输出，无需给出详细说明或在同一提示中包含多个示例。​

有关如何为各种任务准备训练数据的更多详细指导，请参阅我们准备数据集的最佳实践。​

您拥有的训练示例越多越好。我们建议至少有几百个示例。一般来说，我们发现数据集大小每增加一倍都会导致模型质量线性增加。​

CLI 数据准备工具

我们开发了一个工具来验证、提供建议和重新格式化您的数据：​

代码块

openai tools fine_tunes.prepare_data -f <LOCAL_FILE>

此工具接受不同的格式，唯一的要求是它们包含提示和完成列/键。您可以传递CSV、TSV、XLSX、JSON或JSONL文件，它会在指导您完成建议的更改过程后将输出保存到 JSONL 文件中以备微调。​

创建微调模型

以下假设您已经按照上述说明准备了训练数据。

使用 OpenAI CLI 开始微调工作：

代码块

openai api fine_tunes.create -t <TRAIN_FILE_ID_OR_PATH> -m <BASE_MODEL>

您从哪里BASE_MODEL开始的基本模型的名称（ada、babbage、curie 或 davinci）。您可以使用后缀参数自定义微调模型的名称。​

运行上面的命令会做几件事：

1.
使用文件 API上传文件（或使用已经上传的文件）​

2.
创建微调作业​

3.
流式传输事件直到作业完成（这通常需要几分钟，但如果队列中有很多作业或您的数据集很大，则可能需要数小时）​

每个微调工作都从一个默认为curie的基本模型开始。模型的选择会影响模型的性能和运行微调模型的成本。您的模型可以是以下之一：ada、babbage、curie或davinci。请访问我们的定价页面，了解有关微调费率的详细信息。​

开始微调作业后，可能需要一些时间才能完成。在我们的系统中，您的工作可能排在其他工作之后，训练我们的模型可能需要几分钟或几小时，具体取决于模型和数据集的大小。如果事件流因任何原因中断，您可以通过运行以下命令恢复它：​

代码块

openai api fine_tunes.follow -i <YOUR_FINE_TUNE_JOB_ID>

工作完成后，它应该显示微调模型的名称。

除了创建微调作业外，您还可以列出现有作业、检索作业状态或取消作业。​

微调（Fine-tuning）​

微调（Fine-tuning）