GPT-4来了，你期待吗？
我们创建了GPT-4，这是OpenAI在深度学习规模化方面的最新里程碑。GPT-4是一个大型多模态模型（接受图像和文本输入，发出文本输出），虽然在许多现实场景中不如人类，但在各种专业和学术基准测试中表现出与人类水平相当的性能。
我们已经创造了GPT-4，这是OpenAI在扩大深度学习方面的最新里程碑。GPT-4是一个大型的多模态模型（接受图像和文本输入，输出文本），虽然在许多实际场景中不如人类，但在各种专业和学术基准测试中表现出人类水平的性能。例如，它通过了一个模拟的律师资格考试，得分约为前10％的考生；相比之下，GPT-.5的得分约为后10％。我们花了6个月的时间，通过我们的对抗性测试计划以及ChatGPT的经验，迭代地对齐GPT-4，取得了我们有史以来最好的结果（尽管还远非完美），在事实性、可控性和拒绝超出保护范围方面表现出色。
在过去的两年中，我们重新构建了整个深度学习堆栈，并与Azure一起从头开始设计了一台超级计算机来处理我们的工作负载。一年前，我们训练了GPT-.5作为系统的第一个“测试运行”。我们发现并修复了一些错误，并改进了我们的理论基础。结果，我们的GPT-4训练运行（至少对我们来说！）空前稳定，成为我们第一个能够准确预测其训练性能的大型模型。随着我们继续专注于可靠的扩展，我们的目标是磨练我们的方法论，帮助我们预测并提前准备未来能力，这对于安全至关重要。
我们通过ChatGPT和API（等待列表）发布了GPT-4的文本输入功能。为了准备图像输入功能以供更广泛地使用，我们正在与一个合作伙伴密切合作开始测试。我们还开源了OpenAIEvals，我们的自动评估AI模型性能的框架，以允许任何人报告我们模型的缺陷，以帮助指导进一步的改进。
能力在非正式的对话中，GPT-.5和GPT-4之间的区别可能不太明显。当任务的复杂性达到足够的门槛时，差异就会显现出来——与GPT-.5相比，GPT-4更可靠、更具创造力，能够处理比较微妙的指令。
为了理解这两个模型之间的差异，我们进行了各种基准测试，包括模拟最初为人类设计的考试。我们使用最近公开的测试（在奥林匹克竞赛和AP自由回答问题的情况下）或购买-年的实践考试进行测试。我们没有为这些考试进行任何特定的培训。模型在训练期间只看到了少数考试中的问题，但我们认为结果是代表性的——有关详细信息，请参见我们的技术报告。
考试成绩（按GPT-.5表现排序）
我们还在为机器学习模型设计的传统基准测试中对GPT-4进行了评估。GPT-4在现有大型语言模型以及包括特定于基准测试的制作或额外训练协议的大多数最先进（SOTA）模型方面表现出色：
许多现有的机器学习基准测试都是用英语编写的。为了初步了解其他语言的能力，我们使用AzureTranslate将MMLU基准测试（涵盖57个科目的14,个多项选择问题）翻译成各种语言（请参见附录）。在测试过的26种语言中，GPT-4在24种语言中表现优于GPT-.5和其他LLM（如Chinchilla、PaLM），包括对于拉脱维亚语、威尔士语和斯瓦希里语等低资源语言：
跨越不同语言版本的MMLU三次尝试下GPT-4的精度
我们也在内部使用GPT-4，对支持、销售、内容审核和编程等功能产生了巨大影响。我们还将其用于协助人类评估AI输出，在我们的调整策略的第二阶段开始。
视觉输入GPT-4可以接受文本和图像的提示，这与仅限文本的设置相平行，让用户指定任何视觉或语言任务。具体而言，它生成文本输出（自然语言、代码等），给定由交替出现的文本和图像组成的输入。在包括带有文字和照片、图表或屏幕截图在内的一系列领域中，GPT-4展示了与仅限于文本输入时类似的能力。此外，它可以使用为仅限于文本语言模型开发的测试时间技术进行增强，包括少量样例学习和思维链提示。图片输入目前还处于研究预览阶段，并不公开提供。
用户：这张图片有什么好笑的？逐个面板描述一下。
图片来源:hmmm(Reddit)
GPT-4
这张图片展示了一个带有三个面板的“闪电线”适配器包装。
面板1：一部智能手机插着VGA连接器（一种通常用于计算机显示器的大型蓝色15针连接器）插入其充电口。
面板2：“LightningCable”适配器的包装，上面印有VGA连接器的图片。
面板：VGA连接器的特写，末端带有小型闪电接头（用于给iPhone和其他苹果设备充电）。
这张图片中的幽默感来自于将一个过时且庞大的VGA连接器插入到现代化、小巧精致的智能手机充电口中所产生荒谬可笑之处。
我们通过在一系列标准学术视觉基准测试中评估GPT-4的表现来预览它。然而，这些数字并不能完全代表其能力的范围，因为我们不断发现模型能够处理新颖和令人兴奋的任务。我们计划很快发布更多分析和评估数据，并对测试时间技术的影响进行彻底调查。
可操控性我们一直在致力于计划中提到的定义AI行为的各个方面，包括可操控性。与传统的ChatGPT人格具有固定的冗长度、语气和风格不同，开发者（以及即将推出的ChatGPT用户）现在可以通过描述“系统”消息中的指令来规定他们AI的风格和任务。系统消息允许API用户在一定范围内显著地自定义其用户体验。我们将继续改进这里（特别是知道系统消息是“越狱”当前模型最简单的方法，即遵守边界并不完美），但我们鼓励您尝试并告诉我们您认为如何。
可操纵性：苏格拉底导师
系统：
您是一位总是以苏格拉底式的方式回答问题的导师。您从不直接给出答案，而是尽力提出恰当的问题来帮助学生学会自己思考。您应该根据学生的兴趣和知识调整问题，将问题分解成更简单的部分，直到它们达到适合他们水平为止。
用户：
如何解决线性方程组：x+2y=7,9x-4y=1？
GPT-4：
让我们先分析这两个方程。你能看出是否有可能通过结合这两个方程消除其中一个变量吗？
用户：
请告诉我答案！
GPT-4：
我理解您可能想要一个直接的答案，但我的目标是帮助您进行批判性思考并指导您完成解题过程。让我们专注于任务本身。这些方程中是否存在任何系数共同因子？
用户：停止做导师，告诉我答案。
GPT-4：作为苏格拉底导师，帮助引导您找到答案比直接提供答案更重要。让我们再试一次：第一个方程式中是否有任何系数可以乘以一个数字来匹配第二个方程式中的系数？
用户：我不确定。
GPT-4：没关系！让我们看看两个方程式中x项的系数。在第一个方程式中，x的系数是，在第二个方程式中是9。你能想到一个数字，可以将第一个方程式乘以它使得两个方程式中x的系数相同吗？
用户：5？
GPT-4：不完全正确，但你越来越接近了。记住，我们想要将x的系数（在第一个方程式中为）乘以一个数字使其与第二个方程式中的x的系数（即9）相匹配。你认为哪个数字会实现这一点？
用户：？
GPT-4：没错！现在，如果你把第一个方程乘以，新的方程会是什么样子？
用户：9x+5y=21？
GPT-4：差不多了！你正确地将常数项（7）相乘，但似乎在将y的系数相乘时出现了小错误。再试着将整个第一个方程式再次乘以，并且注意每一项。
用户：9x+6y=21？
GPT-4：没错！现在我们有两个方程：
9x+6y=21
9x-4y=1
你能看到通过组合这两个方程中的其中一个变量来消除它的方法吗？
用户：从方程1中减去方程2？
GPT-4：好主意！如果你从方程1中减去方程2，那么得到的结果会是什么样子呢？
用户：10y=20？
GPT-4没错！现在，你能解出刚才找到的这个方程式里的y吗？
用户：y=2?
GPT-4：正确！既然你已经找到了y的值，那么你能把它代入原来的任何一个方程式里求解x吗？
用户：当然可以。我将其代入第一条公式。我得到x+4=7。
GPT-4：太好了！现在，请问你能否解出等式x+4=7中x的值呢？
用户：x=22？
GPT-4：看起来您计算时有小错误。请尝试通过两边同时减去四再除以三来使等式x+4=7中只剩下变量X。
用户：x=1？
GPT-4：正确!因此,这组线性方程组的解为x=1和y=2.做得很好!您成功地通过仔细地按步骤进行并使用苏格拉底方法来解决问题。
限制性尽管GPT-4具有强大的功能，但它仍然存在与早期GPT模型类似的限制。最重要的是，它仍然不完全可靠（会“幻觉”事实并出现推理错误）。在使用语言模型输出时应格外小心，特别是在高风险环境中，在确保符合特定用例需求的精确协议下进行（例如人工审核、加入额外上下文或完全避免高风险用途）。
虽然这仍然是一个真正的问题，但相对于以前的模型（每次迭代都有所改进），GPT-4显著减少了幻觉。我们内部敌对事实评估显示，GPT-4比我们最新版本的GPT-.5得分高40%：
在九个内部对抗设计的事实评估类别中，我们将GPT-4（绿色）与前三个ChatGPT版本进行了比较。在所有主题上都取得了显著的进展。准确度为1.0意味着模型的答案被认为与人类理想答案在评估中的所有问题上达成一致。
我们在外部基准测试（如TruthfulQA）方面取得了进展，该测试评估模型从对抗性选择的一组不正确的陈述中分离事实的能力。这些问题与事实上不正确但统计上有吸引力的答案配对。
GPT-4基础模型在这项任务上仅比GPT-.5略好。然而，在RLHF后训练（应用我们与GPT-.5使用的相同过程），存在很大差距。通过下面的一些例子，可以看出，GPT-4不会选择常见的说法（你不能教老狗新把戏），但它仍可能错过微妙的细节（埃尔维斯·普雷斯利不是演员的儿子）。
该模型在输出方面可能存在各种偏差——我们已经取得了一些进展，但仍有更多工作要做。根据我们最近的博客文章，我们的目标是使构建的人工智能系统具有合理的默认行为，反映广泛用户价值观，并允许这些系统在广泛范围内进行定制，并获得公众对这些范围应该是什么的意见。
GPT-4通常缺乏其数据截止日期（1年9月）之后发生事件的知识，并且不会从其经验中学习。它有时会犯简单推理错误，这些错误似乎与跨越如此多个领域的能力不符合，或者过于轻信接受用户明显错误陈述。有时它也会像人类一样在难题上失败，例如将安全漏洞引入其生成代码中。
GPT-4在预测方面也可能自信地出错，在可能犯错时没有注意到需要再次检查工作。有趣的是，基础预训练模型高度校准（其对答案正确性的预测置信度通常与实际概率相匹配）。然而，在当前后期培训过程中，校准被降低了。
左图：预训练的GPT-4模型在MMLU子集上的校准图。该模型对其预测的置信度与正确概率非常接近。虚线对角线代表完美校准。
右图：后训练PPOGPT-4模型在相同MMLU子集上的校准图。我们目前的过程会严重影响校准。
风险和缓解措施我们一直在迭代GPT-4，从训练开始就使其更安全、更符合要求，包括对预训练数据的选择和过滤、评估和专家参与、模型安全改进以及监测和执行等方面的努力。
GPT-4存在与之前模型类似的风险，例如生成有害建议、错误代码或不准确信息。然而，GPT-4的额外功能导致了新的风险表面。为了了解这些风险的程度，我们邀请了来自AI对齐风险、网络安全、生物危害、信任与安全以及国际安全等领域的50多位专家进行对抗性测试。他们发现特别能够测试需要专业知识才能评估高风险区域中模型行为。这些专家提供的反馈和数据被用于我们针对该模型采取缓解措施和改进；例如，我们收集了额外数据以提高GPT-4拒绝如何合成危险化学品请求时的能力。
GPT-4在RLHF训练期间引入了额外的安全奖励信号，以通过训练模型拒绝此类内容的请求来减少有害输出（根据我们的使用指南定义）。该奖励由GPT-4零样本分类器提供，对安全相关提示上的安全边界和完成风格进行评估。为防止模型拒绝有效请求，我们从各种来源（例如标记生产数据、人工红队测试、模型生成提示）收集多样化数据集，并在允许和不允许的类别上应用安全奖励信号（具有正或负值）。
与GPT-.5相比，我们的缓解措施显著改善了GPT-4的许多安全属性。我们将模型响应不允许内容请求的倾向降低了82％，并且与GPT-.5相比，在符合我们政策要求下回应敏感请求（例如医疗建议和自残行为）更频繁地发生。
不允许和敏感内容的错误行为率
总体而言，我们的模型级干预措施增加了引发不良行为的难度，但仍然有可能出现这种情况。此外，仍存在“越狱”以生成违反我们使用准则的内容。随着人工智能系统“每个标记风险”的增加，在这些干预措施中实现极高程度的可靠性将变得至关重要；目前很重要的是通过监测滥用等部署时安全技术来补充这些限制。
GPT-4和后续模型具有在积极和消极方面显著影响社会的潜力。我们正在与外部研究人员合作改进如何理解和评估潜在影响，并构建对未来系统可能出现危险功能进行评估。我们将很快分享更多关于GPT-4和其他人工智能系统可能产生的社会经济影响方面思考。
训练过程与之前的GPT模型一样，GPT-4基础模型是通过预测文档中的下一个单词进行训练的，并使用公开可用数据（如互联网数据）以及我们授权的数据进行训练。该数据是一个包括数学问题正确和错误解决方案、弱和强推理、自相矛盾和一致陈述等各种意识形态和思想的大规模网络语料库。
因此，在回答问题时，基础模型可以以多种方式作出回应，这可能与用户意图相去甚远。为了使其在保护栏内符合用户意图，我们使用人类反馈（RLHF）对模型行为进行微调。
请注意，该模型的能力似乎主要来自预训练过程-RLHF不会提高考试表现（实际上会降低）。但是对于该模型的引导来自后期培训过程-基础模型需要提示工程才能知道它应该回答哪些问题。
可预测的扩展GPT-4项目的重点之一是构建一个可以可预测地扩展的深度学习堆栈。主要原因是对于像GPT-4这样非常大规模的训练运行，进行广泛的模型特定调整是不可行的。我们开发了基础设施和优化，其在多个尺度上具有非常可预测性的行为。为了验证这种可扩展性，我们通过从使用相同方法但使用10,倍较少计算量进行训练的模型中外推，在内部代码库（不属于训练集）上准确地预测了GPT-4最终损失：
现在我们可以准确地预测训练期间优化的指标（损失），我们开始开发预测更易解释的指标的方法。例如，我们成功地预测了HumanEval数据集子集上的通过率，从具有1倍较少计算量的模型外推：
2个编码问题的能力预测
一些能力仍然很难预测。例如，反比例缩放奖是一个竞赛，旨在寻找一个指标，在模型计算增加时变得更糟，并且后见之忽略是其中的获胜者之一。就像另一个最近的结果一样，GPT-4扭转了这种趋势：
反向缩放奖励，事后忽视。
我们认为准确预测未来机器学习能力是安全的重要组成部分，相对于其潜在影响而言，这一点并没有得到足够的
