3 篇文章带有标签 “o3”

在构建能力强大且目标一致的模型过程中，缓解奖励黑客行为(即 AI 系统由于学习目标的缺陷或错误规范而表现不当)仍然是一个关键挑战。我们证明，我们可以通过使用另一个观察模型思维链(CoT)推理的 LLM，来监控前沿推理模型(如 OpenAI o3-mini)在智能编程环境中的奖励黑客行为。CoT 监控比仅监控代理行为和输出要有效得多。我们还发现，比 o3-mini 更弱的 LLM(即 GPT-4o)可以有效地监控更强大的模型。 由于 CoT 监控器在检测漏洞方面可以很有效，自然会问这些漏洞是否可以通过将 CoT 监控器直接整合到代理的训练目标中来抑制。虽然我们表明在低优化状态下，将 CoT 监控器整合到强化学习奖励中确实可以产生更有能力和更一致的代理，但我们发现在过度优化的情况下，代理会学会混淆奖励黑客行为，在 CoT 中隐藏其意图，同时仍然表现出显著的奖励黑客行为。 由于很难判断 CoT 何时变得模糊，因此可能需要付出可监控性代价，避免直接对思路链施加强大的优化压力，确保 CoT 仍然可监控，并有助于检测不一致的行为。

Frontier reasoning models exploit loopholes when given the chance.

• OpenAI o3 and o4-mini System Card

OpenAI o3 和 OpenAI o4-mini 结合了最先进的推理能力和完整工具功能——包括网页浏览（web browsing）、Python 编程、图像（image）和文件分析（file analysis）、图像生成（image generation）、画布编辑（canvas）、自动化流程（automations）、文件搜索（file search）和记忆功能（memory）。这些模型擅长解决复杂的数学、编码和科学难题，同时展现出强大的视觉感知和分析能力。这些模型在其思考链中使用工具来增强自身能力；例如，在思考过程中裁剪或转换图像、搜索网页或使用 Python 分析数据。

OpenAI o 系列模型通过在思维链上进行大规模强化学习进行训练。这些先进的推理能力为提高我们模型的安全性与鲁棒性提供了新的途径。特别地，我们的模型在回应潜在的不安全提示时，能够根据上下文推理我们的安全策略，这得益于审慎对齐。

这是根据我们准备框架（Preparedness Framework）第二版发布的第一个版本和系统卡。OpenAI 的安全顾问小组 (SAG) 审查了我们准备评估的结果，并确定 OpenAI o3 和 o4-mini 在我们的三个跟踪类别（生物和化学能力、网络安全和人工智能自我改进）中均未达到高阈值。

• Introduction to Deep Research from OpenAI [LIVESTREAM]
• Open-source DeepResearch – Freeing our search agents

An agent that uses reasoning to synthesize large amounts of online information and complete multi-step research tasks for you.

一个代理，使用推理来综合大量在线信息，并为您完成多步研究任务。

Today we’re launching deep research in ChatGPT, a new agentic capability that conducts multi-step research on the internet for complex tasks. It accomplishes in tens of minutes what would take a human many hours.

今天我们在 ChatGPT 中推出了 deep research，这是一种新的代理能力，可以在互联网上进行复杂任务的多步研究。 它可以在几十分钟内完成人类需要花费数小时才能完成的任务。

Deep research is OpenAI's ne