AI 的未来不在于将人类现有的经验硬塞给机器，而在于设计出能够利用无限算力进行搜索与学习的“元方法”。
- The Bitter Lesson
- 里奇·萨顿（Rich Sutton）
- 2019年3月13日
回顾70年人工智能研究历程，最深刻的一条教训是：依托算力的通用方法，最终效果远超其他路径，且优势极其显著。究其根本，源于摩尔定律——或者更广义地说，单位计算成本持续呈指数级下降。绝大多数人工智能研究开展时，都默认智能体可使用的算力是恒定的（这种情况下，借助人类知识就成了提升性能为数不多的手段之一）。但只要研究周期稍长于普通科研项目，海量算力必然会成为现实。
研究者为追求短期见效的性能提升，往往试图融入自身对领域的人类认知；但从长远来看，真正起决定性作用的，只有对算力的充分利用。这两条路径本不必相互对立，现实中却常常冲突：投入在一方的时间，就无法用于另一方。研究者会在心理上执着于某一种研究思路；而依赖人类知识的方法，往往会让模型变得复杂，反而难以适配依托算力的通用优化路径。
人工智能研究者们屡屡迟来地领悟到这一惨痛教训，回顾其中几个典型案例，颇具启发意义。
在国际象棋领域，1997年击败世界冠军卡斯帕罗夫的算法，依靠的是大规模深度搜索。彼时，多数国际象棋计算机研究者对此倍感沮丧——他们此前一直钻研的，是融入人类对国际象棋特有棋局结构理解的方法。当一套依托专用软硬件、思路更简洁的搜索算法展现出碾压级优势时，这些深耕人类经验的棋手算法研究者难以接受。他们声称，蛮力搜索这次虽然取胜，却并非通用策略，况且人类下棋根本不靠这种方式。这些研究者一心想用基于人类经验的算法获胜，最终落空后倍感失落。
围棋领域的研究进程如出一辙，只是滞后了约20年。早期大量研究试图借助人类经验、围棋的特有规则特征规避搜索运算，可一旦大规模高效搜索技术落地，这些前期努力便失去意义，甚至起到反作用。同样关键的还有自我对弈学习（其他诸多博弈项目乃至国际象棋亦是如此，尽管1997年首胜世界冠军的程序中，学习并未发挥重要作用）。自我对弈乃至广义上的机器学习，与搜索算法逻辑相通，都能充分调动海量算力。搜索与学习，是人工智能研究中利用大规模算力的两大核心技术方向。和国际象棋一样，围棋研究初期，研究者着力融入人类对棋局的理解，以此减少搜索量；直到后期拥抱搜索与学习，才取得突破性成果。
语音识别领域亦是如此。20世纪70年代，美国国防高级研究计划局（DARPA）曾发起一场早期竞赛。参赛方案大多是融入人类知识的定制化方法，依托词汇、音素、人类发声器官等认知；另一类则是基于隐马尔可夫模型（HMM）、更偏向统计学、运算量更大的新式算法。最终，统计方法完胜依托人类经验的方案。此后数十年间，这一趋势深刻改变了整个自然语言处理领域，统计学与算力逐渐成为行业主流。近期深度学习在语音识别领域的兴起，正是这一趋势的延续。深度学习更少依赖人类先验知识，通过更大规模算力与海量数据集训练，打造出性能大幅跃升的语音识别系统。
和博弈领域一样，研究者始终试图复刻自身的思维模式来搭建系统，把人类认知嵌入算法；但事实证明，这种方式终将适得其反，更是极大浪费了研究精力。随着摩尔定律带来海量算力，当人们找到高效利用算力的方式后，这一路径便彻底失去价值。
计算机视觉领域也遵循相同规律。早期算法围绕边缘检测、广义圆柱体、尺度不变特征变换（SIFT）等特征构建视觉逻辑；而如今这些思路已被彻底摒弃。现代深度神经网络仅依靠卷积、特定不变性等基础概念，性能却实现质的飞跃。
这是一条至关重要的教训。但在人工智能领域，我们至今仍未彻底吃透它，依旧在重复过往的错误。想要看清问题根源、有效规避误区，就必须明白这类研究思路为何具有迷惑性。我们必须铭记这条惨痛教训：从长远来看，将人类主观的思维逻辑嵌入算法，注定行不通。
这一教训源于历史经验总结：
- 人工智能研究者常常试图将人类知识内置到智能体中；
- 这种方式短期有效，也能满足研究者的自我成就感；
- 但长期来看，性能会进入瓶颈，甚至阻碍后续发展；
- 最终的突破性进展，必然来自相反路径——依靠搜索与学习实现算力规模化应用。
这份最终的成功之所以带着苦涩，也常难以被研究者坦然接受，是因为它推翻了研究者偏爱、以人类为中心的研究范式。
从这条惨痛教训中，我们首先要认识到：通用方法拥有巨大潜力，即便算力规模极大，这类方法仍能随算力提升持续优化。其中，搜索与学习是两种可无限适配算力增长的核心路径。
其次，我们要明白：人类大脑的实际运行逻辑极其复杂，复杂到难以简化。我们不应再试图用简单逻辑去拆解大脑的运行模式，比如用简单方式理解空间、物体、多智能体或对称性。这些都是外部世界本身随机、固有且无限复杂的特征，不该被强行内置到算法中。相反，我们应当只搭建元方法，让算法自主发现、捕捉这类复杂特征。这类元方法的核心，是自主寻找优质近似解，而非由人类预先设定。
我们想要的人工智能，是能够像人类一样自主探索发现，而非直接装载人类已有的发现成果。强行内置人类认知，只会阻碍我们研究出具备自主探索能力的算法。