GPT-3.5

GPT-3.5 系列是一系列模型，从 2021 年第四季度开始就使用文本和代一起进行训练。以下模型属于 GPT-3.5 系列：

• code-davinci-002 是一个基础模型，非常适合纯代码完成任务
• text-davinci-002 是一个基于 code-davinci-002 的 InstructGPT 模型
• text-davinci-003 是对 text-davinci-002 的改进
• gpt-3.5-turbo-0301 是对 text-davinci-003 的改进，针对聊天进行了优化

InstructGPT

以 3 种不同方式训练的 InstructGPT 模型变体：

SFT 和 PPO 模型的训练与 InstructGPT 论文中的模型类似。 FeedME（“feedback made easy”的缩写）模型是通过从我们所有的模型中提取最佳完成度来训练的。我们的模型通常在训练时使用最佳可用数据集，因此使用相同训练方法的不同引擎可能会在不同数据上进行训练。

ChatGPT

ChatGPT和InstructGPT是一对姐妹模型，是在GPT-4之前发布的预热模型，有时候也被叫做GPT3.5。ChatGPT和InstructGPT在模型结构，训练方式上都完全一致，即都使用了指示学习（Instruction Learning）和人工反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）来指导模型的训练，它们不同的仅仅是采集数据的方式上有所差异。

OpenAI 官网

We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests. ChatGPT is a sibling model to InstructGPT, which is trained to follow an instruction in a prompt and provide a detailed response.

其实GPT-3.5-turbo* 就是ChatGPT的模型的名字。 

OpenAI相关研究论文

这些是我们今天在 API 中提供的研究论文中最接近的模型。请注意，并非 API 中可用的所有模型都对应于一篇论文，即使对于下面列出的模型，也可能存在细微差异，无法准确复制论文。

其它

强化学习

通常，强化学习看起来像这样。 环境会为每个动作产生奖励

InstructGPT