【GPT-4】GPT-4 相关内容总结

发布时间：2023-03-21 文章分类：电脑基础 投稿人：樱花 字号： 默认 | 大 | 超大 打印

目录

​编辑

官网介绍

GPT-4 内容提升总结

GPT-4 简短版总结

GPT-4 基础能力

GPT-4 图像处理

GPT-4 技术报告

训练过程

局限性

GPT-4 风险和应对措施

开源项目：OpenAI Evals

申请 GPT-4 API

API的介绍以及获取

官网介绍

官网：GPT-4

API候补名单：GPT-4 API waitlist

没开通Plus的用户还没办法体验到

  1. GPT-4 是 OpenAI 最先进的系统，可产生更安全、更有用的响应。

我们创建了 GPT-4，这是 OpenAI 努力扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型（接受图像和文本输入，发出文本输出），虽然在许多现实世界场景中的能力不如人类，但在各种专业和学术基准上表现出人类水平的表现。

  1. GPT-4 可以更准确地解决难题，这要归功于其更广泛的常识和解决问题的能力。

  1. GPT-4 的高级推理能力超越了 ChatGPT。

  2. GPT-4 通过在测试者中获得更高的近似百分位数来优于 ChatGPT。

  3. 遵循 GPT、GPT-2 和 GPT-3 的研究路径，我们的深度学习方法利用更多数据和更多计算来创建越来越复杂和强大的语言模型

  4. 安全与对齐

  1. 与使用 GPT-4 构建的新产品的组织合作

GPT-4 内容提升总结

GPT-4 简短版总结

GPT-4 基础能力

在 GPT-4 发布之前，Open AI 团队花了 6 个月的时间 ，使用对抗性测试程序，以及从 ChatGPT 得到的经验教训，对 GPT-4 进行了迭代调整 ，进而在其真实性、可操控性等方面取得了有史以来最好的结果。

在与当前机器学习模型进行基准评估对比后，GPT-4 大大优于现有的大型语言模型，以及大多数最先进的 (SOTA) 模型。

GPT-4 图像处理

GPT-4 本次最为令人看重的，还是它接受与处理图像的具体能力。

在官方报告中，团队提供了多个实际交互示例。

还在研究阶段，不公开。

详细版：GPT-4可以接受文本和图像输入，并且这两个是可以掺杂着用，它允许你用跟之前文本一样的使用方式。

一共有7个例子，总结起来，它可以识别搞笑图片，可以做复杂的物理化学之类的题目，可以做看图题，可以读论文，可以识别meme图片，总之，非常的强，可惜还不能开放使用。

理解图片

识别与解析图片内容

解析报表图片并进行汇总

直接回答图片中包含的提问内容

不过，GPT-4 跟 GPT-3.5 类似，对训练数据中断后（2021 年 9 月）所发生的事情不太了解，也会犯一些在我们看来很简单的推理性错误，给用户提供不合理的建议，以及在生成的代码中引入安全漏洞。

对于这些潜在性的危险因素，团队也聘请了来自多个不同行业的专家对模型进行了优化调整，但是其具体效果，还需要等后面场景应用较为广泛后，才能得出结论。

GPT-4 技术报告

OpenAI 公开的技术报告中，不包含任何关于模型架构、硬件、算力等方面的更多信息。

下面是稍微具体一点的技术报告 https://cdn.openai.com/papers/gpt-4.pdf：

  1. 与 GPT-3.5/ChatGPT 技术路线完全相同。GPT-4 is a Transformer-style model pre-trained to predict the next token in a document, using both publicly available data (such as internet data) and data licensed from third-party providers. The model was then fine-tuned using Reinforcement Learning from Human Feedback (RLHF). ；

  2. 用一系列 alignment 方案来确保 GPT-4 输出的安全性。The post-training alignment process results in improved performance on measures of factuality and adherence to desired behavior.

  3. 用千分之一的计算量去预测 GPT-4 在一定计算规模下的性能，不用花时间训练大模型去探索，即 Predictable Scaling。A core component of this project was developing infrastructure and optimization methods that behave predictably across a wide range of scales. This allowed us to accurately predict some aspects of GPT-4’s performance based on models trained with no more than 1/1,000th the compute of GPT-4.

  4. 很想看到 OpenAI 是如何做到 Multi-modal GPT 的，我大致是这么猜的：GPT-4 的训练方法应当与最近微软发布的 KOSMOS-1 相同 （Language Is Not All You Need: Aligning Perception with Language Models）。预训练阶段，输入任意顺序的文本和图像，图像经过 vision encoder （如 ViT，CLIP ViT）成 embedding，文本经过 text tokenizer 也成 embedding，组成 multimodal sentence embedding，训练目标仍然是 next-token generation。KOSMOS-1 数据从哪来，直接爬网页训，网页里有图有文字。别看 KOSMOS-1 性能比较拉，那是因为它参数量少，就 1.3 B。同样的方式放到 GPT-4 的参数规模，能成大事。

  5. GPT-4参数量，没有找到相关描述。

训练过程

与之前的 GPT 模型一样，GPT-4 基础模型经过训练可以预测文档中的下一个单词。OpenAI 使用公开可用的数据（例如互联网数据）以及已获得许可的数据进行训练。训练数据是一个网络规模的数据语料库，包括数学问题的正确和错误解决方案、弱推理和强推理、自相矛盾和一致的陈述，以及各种各样的意识形态和想法。

因此，当提出问题时，基础模型的回应可能与用户的意图相去甚远。为了使其与用户意图保持一致，OpenAI 依然使用强化学习人类反馈 (RLHF) 来微调模型的行为。请注意，该模型的能力似乎主要来自于预训练过程 ——RLHF 不会提高考试成绩（甚至可能会降低它）。但是模型的控制来自后训练过程 —— 基础模型甚至需要及时的工程设计来回答问题。

GPT-4 的一大重点是建立了一个可预测扩展的深度学习栈。主要原因是，对于像 GPT-4 这样的大型训练，进行广泛的特定模型调整是不可行的。团队开发了基础设施和优化，在多种规模下都有可预测的行为。为了验证这种可扩展性，他们提前准确地预测了 GPT-4 在内部代码库（不属于训练集）上的最终损失，方法是通过使用相同的方法训练的模型进行推断，但使用的计算量为 1/10000。

局限性

尽管功能已经非常强大，但 GPT-4 仍与早期的 GPT 模型具有相似的局限性，其中最重要的一点是它仍然不完全可靠。OpenAI 表示，GPT-4 仍然会产生幻觉、生成错误答案，并出现推理错误。

目前，使用语言模型应谨慎审查输出内容，必要时使用与特定用例的需求相匹配的确切协议（例如人工审查、附加上下文或完全避免使用） 。

总的来说，GPT-4 相对于以前的模型（经过多次迭代和改进）已经显著减轻了幻觉问题。在 OpenAI 的内部对抗性真实性评估中，GPT-4 的得分比最新的 GPT-3.5 模型高 40%：

GPT-4 风险和应对措施

开源项目：OpenAI Evals

为了让开发者能更好的评测 GPT-4 的优缺点，OpenAI 的技术团队还开源了 OpenAI Evals 项目，可用于自动评估 AI 模型性能的框架，以便用户能更专业的指导团队，进一步优化与改进模型。

该项目具有以下功能特性：

GitHub：https://github.com/openai/evals

申请 GPT-4 API

API的介绍以及获取

标签 , ,