12 篇文章带有标签 “HarnessEngineering”

想象一下，你有一个非常聪明但有点冲动的助手——它知识渊博、能说会道，但有时候会：

• 忘记五分钟前你们讨论的事情
• 直接执行危险操作而不问你
• 在复杂任务中迷路，绕来绕去
• 做错了事，但你不知道为什么

这就是没有 Harness 的 LLM 智能体。

Harness 这个词在英文里有"马具"、"安全带"的意思。在 AI 智能体的世界里，它就是那个让智能体既能够发挥能力，又不会失控的"安全脚手架"。

这个隐喻是有意的：

• 马是 AI 模型——强大、快速，但它自己不知道去哪里
• Harness是基础设施——约束、护栏、反馈循环，以富有成效地引导模型的力量
• 骑手是人类工程师——提供方向，而不是亲自奔跑

用一个更贴近生活的比喻：Harness 就像是智能体的"驾驶舱 + 安全带 + 导航系统 + 黑匣子"的组合体。

根据 Harness Engineering 将原始模型能力转化为可靠 Agent 行为的脚手架。实用的 Agent 最好被理解为在 Harness 内部运行的模型，而不是带有外围能力的模型。

在我们深入技术细节之前，让我们看看几个真实的例子，了解为什么 Harness 工程如此重要：

OpenAI 团队做了一件令人震惊的事情：他们用 AI 智能体构建了一个超过 100 万行代码的生产应用，而且零行代码是人工手写的！

未来的发展方向包括自进化Harness（自动根据执行结果优化自身的策略和流程）、多智能体共享的Harness基础设施、规划/评估过程的外化等。

利用 LLM 构建个人知识库的系统。WikiLLM 将原始素材"编译"成结构化、交叉链接的高质量中文 Wiki，可在 Obsidian 中查看。

本项目基于 Andrej Karpathy 提出的理念构建。详见：LLM Knowledge Bases

WikiLLM 的工作流包括：

1. 数据摄入：源文档（文章、论文、代码库、数据集、图像）被索引到 raw/ 目录
2. Wiki 编译：LLM 增量地"编译"原始数据成 markdown 文件的 wiki，包含摘要、反向链接、分类概念和相互链接的文章
3. IDE：Obsidian 用作前端查看原始数据、编译后的 wiki 和可视化
4. 问答：LLM 可以通过研究相关数据来回答针对 wiki 的复杂问题
5. 输出：结果渲染为 markdown 文件、Marp 幻灯片或 matplotlib 图像，可在 Obsidian 中查看
6. Linting：LLM"健康检查"发现不一致、填补缺失数据、建议新文章候选
7. 额外工具：诸如 wiki 上的朴素搜索引擎等额外工具

• LLM 编写和维护所有 wiki 数据；手动编辑很少见
• 用户探索和查询被归档回 wiki 以增强它
• 系统专注于 markdown 文件和 Obsidian 兼容格式
• 图像被下载到本地 以便 LLM 轻松引用

这是 Andrej Karpathy 设计的极简自主 AI 研究实验框架：让 AI 智能体仅修改 train.py，在固定 5 分钟训练预算内自主迭代优化 GPT 模型、以最低验证集 bpb 为目标，自动实验、记录结果并择优保留，无人值守持续运行。

曾经有一天，前沿 AI 研究是由人类在吃饭、睡觉、享受其他乐趣，以及偶尔使用声波互连进行被称为"组会"的仪式之间完成的。那个时代早已远去。现在的研究完全属于运行在天空中计算集群巨型结构上的自主 AI 智能体集群。这些智能体声称我们现在处于代码库的第 10,205 代，反正没人能说得清这是对是错，因为"代码"现在已经是一个自我修改的二进制文件，已经超出了人类的理解范围。这个仓库讲述了这一切是如何开始的故事。-@karpathy，2026 年 3 月。

这个想法是：给一个 AI 智能体一个小但真实的 LLM 训练设置，让它在夜间自主实验。它修改代码、训练 5 分钟、检查结果是否有所改进、保留或丢弃，然后重复。你早上醒来时会看到一个实验日志，以及（希望）一个更好的模型。这里的训练代码是 nanochat 的简化单 GPU 实现。核心思想是，你不需要像研究人员通常那样触碰任何 Python 文件。相反，你是在编写 program.

Andrej Karpathy 发起的 autoresearch 项目代表了从命令式编程向指令式编排的根本性转折。该项目不仅是一个技术工具，更是一种关于人类与人工智能在科研领域协作关系的深刻重塑。其核心理念在于将 AI 智能体置于研究流程的中心，使其能够独立完成从假设生成、代码修改、模型训练到结果评估的完整闭环，而无需人类在过程中间进行干预。

这一转变标志着 Harness Engineering 时代的到来。在这一范式下，研究人员的角色发生了质变，不再是直接编写解决具体问题的 Python 代码，而是编写用于指导 AI 智能体的自然语言指令集，即 program.md 文件。这种模式通过将复杂的机器学习实验简化为一种可自动执行的、具备“棘轮效应”的改进循环，实现了科研效率的指数级提升。

项目背景设定在一个虚构但具有高度前瞻性的未来：尖端 AI 研究已不再由人类在会议中通过同步信息来推进，而是由在超大规模算力集群上运行的自主智能体集群独立完成。autoresearch 仓库被视为这一未来时代的起点，展示了如何通过极简的工程结构构建出具备自我进化能力的科研框架。

这种架构的核心在于建立了一条明确的信任边界。prepare.py 作为不可变的真相来源，锁定了评估指标 val_bpb，从而防止智能体通过修改评估逻辑来伪造虚假的性能提升。相比之下，train.

Harness Engineering 是 AI 时代的全新软件工程学科 —— 设计和实现系统来约束、引导、验证和修正 AI 智能体的行为，让强大但不可预测的 AI 模型能够可靠地完成复杂任务。

• 核心概念
• 核心原理
• 技术架构
• 企业实践案例
• 最佳实践指南
• 实施路线图
• 未来趋势

Harness Engineering 是设计和实现系统的学科，这些系统能够：

1. 约束：定义 AI 智能体可以做什么（架构边界、依赖规则）
2. 告知：告诉智能体应该做什么（上下文工程、文档体系）
3. 验证：检查智能体是否正确完成任务（测试、 linting、CI 验证）
4. 修正：当智能体出错时引导其自我修复（反馈循环、自我修正机制）

类比：AI 模型是一匹强大但无方向的骏马，Harness 是缰绳、马鞍和全套马具，人类工程师是骑手。没有 Harness 的 AI 是开阔场地里的纯种马——速度快、令人印象深刻，但完全无法用来完成任何实际工作。

AI 行业正在达成一个共识：底层模型的重要性远低于围绕它的系统。LangChain 的实验最能证明这一点：他们的编码智能体在 Terminal Bench 2.0 上的得分从 52.8% 提升到 66.5%，从排名前 30 跃升至前 5 —— 完全没有改动模型，只是优化了 Harness。

Harness Engineering 是 2026 年软件工程领域涌现的一门新学科，其核心理念是：在生成式 AI 时代，由于模型能力已趋于同质化（Commodity），构建可靠、可扩展的 AI 智能体系统的关键不再是模型本身，而是在模型周围设计的“Harness”（支架/编排系统）。

通过分析提供的资料，可以从以下几个维度深入理解 Harness Engineering：

正式定义上，Harness engineering 是设计和实现一个能够约束、告知、验证并纠正 AI 智能体行为的系统学科。

上下文工程（Context Engineering）：确保智能体在正确的时间获得正确的信息。这要求将代码库视为唯一的真理来源，不仅包含代码，还包括架构决策、API 契约和动态的观测数据（如日志、指标）。 架构约束（Architectural Constraints）：通过机械化的手段强制执行“好代码”的标准。例如使用确定性的 Linter、结构化测试（如 ArchUnit）和严格的依赖层级校验，防止 AI 智能体在生成代码时由于灵活性过高而导致架构腐化。 熵管理/垃圾回收（Entropy Management / Garbage Collection）：AI 生成的代码库容易积累“AI 废料（AI Slop）”，文档也容易过时。

本文综合 Anthropic、OpenAI、Martin Fowler、LangChain、Mitchell Hashimoto、NxCode、MiniMax 等前沿文章的分析报告。

"Harness" 直译为"马具"——缰绳、鞍座、嚼子，是用来驾驭一匹强大但不可预测的动物的工具。这个隐喻极其精准：

隐喻	对应实体
马匹	AI 模型——强大、快速，但自身不知道该去哪里
马具（Harness）	基础设施——约束、护栏、反馈循环，引导模型的力量
骑手	人类工程师——提供方向，而不是亲自奔跑

没有 Harness 的 AI Agent 就像旷野中的野马——速度快、令人印象深刻，但对完成任何目标完全无用。

Harness Engineering 是设计和实现以下系统的学科：

1. 约束（Constrain）——限制 AI Agent 能做什么（架构边界、依赖规则）
2. 告知（Inform）——告诉 Agent 它该做什么（上下文工程、文档）
3. 验证（Verify）——检查 Agent 是否正确完成了任务（测试、Linter、CI）
4. 纠正（Correct）——当 Agent 出错时进行修复（反馈循环、自我修复机制）

Harness Engineering，是在AI大模型时代，以确定性系统外壳约束概率性AI行为，通过上下文工程、架构约束、熵管理三位一体，构建可长期稳定运行的AI Agent系统，推动软件工程从代码实现转向系统设计，成为下一代AI工程化的核心范式。

在人工智能，特别是大型语言模型（LLM）能力迅速发展的时代，软件开发领域正经历一场深刻的范式转移。传统以代码为中心的工程方法正在被一种以语言为中心的新范式所取代。这一新范式将工程设计的核心原则，如控制、可靠性和可扩展性，应用到了人与AI的交互界面上。本报告将深入探讨这一新兴领域，提出“Harness Engineering”（驾驭工程）这一术语，用以描述其背后的系统性原则、核心实践、行业案例及未来挑战。报告旨在为软件工程师、技术领导者及行业观察家提供一个全面的框架，以理解并应用这一即将定义未来技术格局的关键技术。

在深入探讨Harness Engineering之前，必须首先理解它所处的演化脉络。它并非一个凭空出现的概念，而是对已有AI工程实践的一次系统性整合与升华。它标志着行业的焦点从与AI模型的“单次对话”转向了构建一个让AI能够“持续可靠工作”的完整系统。

Harness Engineering（驾驭工程）被定义为一个新兴的工程学科，其核心目标是设计和实现一套围绕AI Agent（人工智能体）的完整系统，该系统由约束（Constrain

Harness engineering 是一门设计和构建约束、反馈循环和生命周期系统的工程学科，用于让 AI 智能体能够可靠地构建软件。它的核心思想是：不直接让 AI 写代码，而是创建一个环境（harness），让 AI 在这个环境中可靠地构建代码。

Anthropic 的三智能体架构：

• Planner（规划智能体）：任务分解
• Generator（生成智能体）：代码生成
• Evaluator（评估智能体）：质量评估（基于 Design quality、Originality、Craft、Functionality 等标准）

1. 迭代改进：将智能体的困难视为信号，据此添加工具/护栏/文档
2. 自我验证循环：build-test-fix 闭环
3. 循环检测中间件：防止无限循环
4. "推理三明治"：计算预算策略
5. 状态传递：在智能体之间清晰传递任务状态

• OpenAI：5 个月内构建了超过 100 万行代码，全程无需人工输入
• LangChain：仅通过改进 harness，将智能体在 Terminal Bench 2.0 上的表现从 52.8% 提升到 66.5%，排名从 Top 30 进入 Top 5

"我们只改变了 harness，模型保持不变。" — LangChain

Harness engineering 的本质是：将 AI 能力的关注点从"如何让 AI 更聪

在智能体（Agentic）编程的前沿领域，Harness 设计（测试与运行框架设计）是性能表现的关键。以下是我们如何推动 Claude 在前端设计和长时间运行的自主软件工程中进一步突破的实践。

作者：Prithvi Rajasekaran，Labs 团队成员

发布日期：2026年3月24日

• Harness design for long-running application development

在过去的几个月里，我一直致力于解决两个相互关联的问题：如何让 Claude 产出高质量的前端设计，以及如何让它在无需人工干预的情况下构建完整的应用程序。这项工作源于我们早期在前端设计能力和长时间运行编程智能体 Harness 方面的尝试。当时，我和同事们通过提示词工程（Prompt Engineering）和 Harness 设计，能够将 Claude 的性能提升到远高于基准线的水平——但两者最终都遇到了瓶颈。

为了实现突破，我寻求了一种能够跨越两个完全不同领域的全新 AI 工程方法：一个由主观审美定义，另一个由可验证的正确性和可用性定义。受生成对抗网络（GAN）的启发，我设计了一种包含**生成器（Generator）和评估器（Evaluator）**智能体的多智能体结构。要构建一个能够可靠且具审美感地对输出进行评分的评估器，意味着首先要开发一套标准，将“这个设计好吗？

这是一篇由 Anthropic 发布的技术博客文章，探讨了如何通过构建有效的“脚手架”（harnesses）来提升长时运行智能体（long-running agents）的工作效率。

发布日期：2025 年 11 月 26 日

• Effective harnesses for long-running agents

智能体在跨越多个上下文窗口工作时仍面临挑战。我们从人类工程师身上汲取灵感，为长时运行的智能体构建了一个更有效的脚手架。

随着 AI 智能体（agents）能力的不断提升，开发者正越来越多地要求它们承担复杂的任务，这些任务往往需要持续数小时甚至数天的工作。然而，让智能体在多个上下文窗口（context windows）中保持连贯的进度仍然是一个悬而未决的问题。

长时运行智能体的核心挑战在于：它们必须在离散的“会话”中工作，且每个新会话开始时都没有之前发生的记忆。想象一下，一个软件项目由实行轮班制的工程师负责，而每位新来的工程师对上一班发生的事情毫无记忆。由于上下文窗口是有限的，且大多数复杂项目无法在单个窗口内完成，智能体需要一种方法来弥合多次编码会话之间的差距。

我们开发了一种方案，使 Claude Agent SDK 能够有效地跨多个上下文窗口工作。