Kimi K3 技术论文解读
一、研究背景
大型语言模型（LLM）的发展一直沿着两条轴线推进：
- 第一轴：预训练规模扩展——在部署前投入更多计算，训练更大的模型、使用更多的数据。这是传统意义上的"Scaling Law"。
- 第二轴：测试时计算扩展——通过强化学习和推理时增加思考预算，让模型在回答问题时"想得更久"。
近年来，OpenAI的o系列、Anthropic的扩展思维模型、DeepSeek-R1和Kimi K1.5等工作，让"测试时扩展"成为前沿研究的核心焦点。然而，开源社区在第二条轴上进展迅速，但在第一条轴上却明显滞后——大多数开源模型仍停留在1T参数规模左右。随着越来越复杂的推理和智能体方法被应用于规模相近的预训练模型上，开源进展面临趋同风险，而与最强大专有系统（Claude、GPT系列）的差距可能持续扩大。
与此同时，真实世界的智能体任务需要处理超长上下文（如软件工程仓库、数万页文档、多天跨度的对话），要求模型同时具备大参数规模、长上下文窗口和原生多模态理解能力。Kimi K3正是在这一背景下诞生的：同时推进两条扩展轴，将预训练基础扩展到前所未有的3T类参数规模，同时在1M上下文长度上扩展强化学习、推理努力和长周期交互。
二、要解决什么问题
Kimi K3要解决的核心问题可以概括为以下