5 篇文章带有标签 “机器学习”

AI 的未来不在于将人类现有的经验硬塞给机器，而在于设计出能够利用无限算力进行搜索与学习的“元方法”。

• The Bitter Lesson
  • 里奇·萨顿（Rich Sutton）
  • 2019年3月13日

回顾70年人工智能研究历程，最深刻的一条教训是：依托算力的通用方法，最终效果远超其他路径，且优势极其显著。究其根本，源于摩尔定律——或者更广义地说，单位计算成本持续呈指数级下降。绝大多数人工智能研究开展时，都默认智能体可使用的算力是恒定的（这种情况下，借助人类知识就成了提升性能为数不多的手段之一）。但只要研究周期稍长于普通科研项目，海量算力必然会成为现实。

研究者为追求短期见效的性能提升，往往试图融入自身对领域的人类认知；但从长远来看，真正起决定性作用的，只有对算力的充分利用。这两条路径本不必相互对立，现实中却常常冲突：投入在一方的时间，就无法用于另一方。研究者会在心理上执着于某一种研究思路；而依赖人类知识的方法，往往会让模型变得复杂，反而难以适配依托算力的通用优化路径。

人工智能研究者们屡屡迟来地领悟到这一惨痛教训，回顾其中几个典型案例，颇具启发意义。

在国际象棋领域，1997年击败世界冠军卡斯帕罗夫的算法，依靠的是大规模深度搜索。彼时，多数国际象棋计算机研究者对此倍感沮丧——他们此前一直钻研的，是融入人类对国际象棋特有棋局结构理解的方法。

本文档提供了关于语音大型语言模型 (Speech LLM) 的全面概述。内容从语音标记化 (speech tokenization) 的基本概念开始，这是一种将连续语音信号转换为离散单元的方法。文中还讨论了各种语音标记器类型 (types of speech tokenizers)，包括 SSL 和神经编码器，并探讨了不同的解码策略 (decoding strategies) 对生成质量的影响。此外，还深入分析了训练语音 LLM 的方法 (methods for training Speech LLM)，包括如何利用文本 LLM (Text LLM) 作为基础模型，并通过反馈对齐 (alignment with feedback) 优化模型。最后，概述还触及了全双工语音对话 (full-duplex speech conversation) 等前沿应用，并提供了评估语音模型 (evaluating speech models) 的框架。

• 【生成式AI時代下的機器學習(2025)】第十二講：語言模型如何學會說話 — 概述語音語言模型發展歷程

本文档深入探讨了模型合并（Model Merging）的技术，特别是利用任务向量（Task Vector）来增强或改变基础模型（Foundation Model）的功能。它们展示了如何通过对模型参数进行加减运算来实现不同的目标，例如让语言模型减少生成有毒内容，或者构建一个多任务模型。此外，文档还探讨了高级合并方法以及在规模化应用中模型合并的考虑因素，并提出了任务向量可以被小团队专门开发、出售和交换的未来愿景。

• 【生成式AI時代下的機器學習(2025)】第十一講：今天你想為 Foundation Model 裝備哪些 Task Vector？淺談神奇的 Model Merging 技術

本文档深入探讨了模型编辑，这是一种用于更新人工智能模型知识的技术，而不需进行完全重新训练。它们首先通过对比模型编辑与传统的后训练（Post Training）来解释其概念，其中前者侧重于植入特定事实，而后者旨在学习新技能。接着详细阐述了模型编辑的评估标准，包括可靠性、泛化性和局部性，并介绍了两种主要方法：不改变模型参数和改变模型参数。展示了Rank-One Model Editing (ROME) 方法，它通过直接修改模型内部参数来实现知识更新。最后，还介绍了超网络（Hypernetwork），这是一种让人工智能学习如何进行模型编辑的技术，展示了其训练和测试过程。

• 【生成式AI時代下的機器學習(2025)】第十講：人工智慧的微創手術 — 淺談 Model Editing

本文档讨论了大型语言模型的评估，重点关注其推理能力和记忆效应。文档展示了不同的基准测试结果，例如DeepSeek和OpenAI模型在推理任务上的表现，以及模型回答可能来自“记忆”而非推理的准确性下降情况。此外，还介绍了人工通用智能（ARC-AGI）的抽象推理语料库作为一种评估框架，并探讨了聊天机器人竞技场（Chatbot Arena）及其Elo评分系统，用于衡量和比较不同模型在实际用户互动中的表现，包括情感和风格控制。

• 【生成式AI時代下的機器學習(2025)】第九講：你這麽認這個評分系統幹什麽啊？談談有關大型語言模型評估的幾件事