4 篇文章带有标签 “推理模型”

思考更少，成就更多：在不牺牲准确性的情况下将推理成本削减50%

我们推出 Sky-T1-32B-Flash，这是一个可以将生成长度减少高达 50% 但保持准确性的推理模型。

我们很高兴推出 Sky-T1-32B-Flash，这是我们更新的推理语言模型，它显著减少了过度思考，在具有挑战性的问题上将推理成本降低了高达57%。

根据 Lambda Cloud 的定价，使用 8xH100 只需 $275 即可完成整个训练方案，同时在数学、编程、科学和通用知识等领域保持了准确性。

为了促进透明度和协作，我们已开源了完整的流程—从数据生成和预处理到偏好优化和评估脚本，并公开提供模型权重和数据。

• Github: 数据生成、响应重写、偏好优化和评估的代码
• Dataset: 10K 偏好对数据集
• HuggingFace: Sky-T1-32B-Flash 模型权重

图 1: 我们的新模型显著减少了生成的token长度，同时在具有挑战性的基准测试中保持强劲的性能。

什么是过度思考？ 过度思考指的是推理模型倾向于产生不必要的长响应，通常包含冗余或过度的推理步骤。

Sky-T1: 在450美元内训练你自己的O1预览模型

我们推出了Sky-T1-32B-Preview，这是一个在流行的推理和编码基准测试上表现与o1-preview相当的推理模型。值得注意的是，Sky-T1-32B-Preview的训练成本不到450美元，这证明了以经济高效的方式复制高级推理能力是可能的。所有代码都是开源的。

概述

像o1和Gemini 2.0这样擅长推理的模型已经证明可以通过产生长链的思维过程等进步来解决复杂任务。然而，技术细节和模型权重无法获取，这对学术界和开源社区的参与造成了障碍。

为此，一些值得注意的努力已经出现，旨在训练开放权重的数学领域推理模型，如Still-2和Journey。同时，我们UC Berkeley的NovaSky团队一直在探索各种技术来发展基础模型和指令微调模型的推理能力。在这项工作中，我们在同一个模型中不仅在数学方面，而且在编码方面都取得了具有竞争力的推理表现。

完全开源：共同推动进步

为确保我们的工作能够惠及更广泛的社区，我们完全致力于开源协作。我们开源所有细节（即数据、代码、模型权重），使社区能够轻松地复制和改进我们的成果：

• 基础设施：在单个代码库中构建数据、训练和评估模型。
• 数据：用于训练Sky-T1-32B-Preview的17K数据。
• 技术细节：我们的技术报告和wandb日志。
• 模型权重：我们的32B模型权重。

Monitoring Reasoning Models for Misbehavior and the Risks of Promoting Obfuscation（监测推理模型的不当行为以及提升混淆的风险）

在构建能力强大且目标一致的模型过程中，缓解奖励黑客行为(即 AI 系统由于学习目标的缺陷或错误规范而表现不当)仍然是一个关键挑战。我们证明，我们可以通过使用另一个观察模型思维链(CoT)推理的 LLM，来监控前沿推理模型(如 OpenAI o3-mini)在智能编程环境中的奖励黑客行为。CoT 监控比仅监控代理行为和输出要有效得多。我们还发现，比 o3-mini 更弱的 LLM(即 GPT-4o)可以有效地监控更强大的模型。 由于 CoT 监控器在检测漏洞方面可以很有效，自然会问这些漏洞是否可以通过将 CoT 监控器直接整合到代理的训练目标中来抑制。虽然我们表明在低优化状态下，将 CoT 监控器整合到强化学习奖励中确实可以产生更有能力和更一致的代理，但我们发现在过度优化的情况下，代理会学会混淆奖励黑客行为，在 CoT 中隐藏其意图，同时仍然表现出显著的奖励黑客行为。 由于很难判断 CoT 何时变得模糊，因此可能需要付出可监控性代价，避免直接对思路链施加强大的优化压力，确保 CoT 仍然可监控，并有助于检测不一致的行为。

Detecting misbehavior in front

• Understanding Reasoning LLMs
• Sebastian Raschka：关于DeepSeek R1和推理模型，我有几点看法
• Large Language Models are Zero-Shot Reasoners
• Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters
• 04 论文 Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters
• 论文笔记：Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling
• DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning