AI的苦涩教训：算力扩展才是长远之道

《苦涩的教训》一文的核心观点是，随着时间推移，能充分利用计算资源扩展的方法，最终会超越那些不能扩展的方法。尽管人类知识在短期内能迅速带来好结果，但从长远看，只有依赖算力增长的方案才能持续取得突破。这种成功之所以“苦涩”，在于它推翻了人类青睐的、看似更“人性化”的短期有效方案。

「苦涩的教训」核心原则

• 定义： 能够充分利用计算资源扩展的方法，最终会超越那些不能扩展的方法。
• 短期与长期： 人类知识在短期内易获得好结果，但长期看是死路一条；唯有能随算力增长而增长的方法最终胜出。
• 算力增长： 计算能力是未来唯一肯定会大规模增长的资源，而非可用数据量。

经典案例与对比

• 深蓝 (Deep Blue)： 国际象棋，通过强大计算力（搜索+8000个人类专家特征）击败棋王，但难以迁移。
• AlphaGo Zero： 围棋，纯粹依靠计算和学习（无人工特征）击败了基于专家系统（如Pachi、CrazyStone、GnuGo）的程序。
• GnuGo： 围棋，坚持专家系统，尽管开发多年（1989-2009），最终仍被能利用算力的方法远远超越。

采纳「苦涩教训」的阻碍

• 短期压力： 快速提高基准成绩的竞争压力，促使研究者倾向于加入人类知识进行优化。
• 组织与文化惯性： “科学进步往往要等到老一代科学家去世”，类似的，困难问题的进步往往要等到老组织被淘汰才能实现。
• “人性化”方案偏好： 最终的成功往往推翻了人类所青睐的、短期内看似更有效的“人性化”方案。

对现代AI（尤其是大语言模型）的启示

• 通用能力提升： 相比为短期基准优化加入人类知识，更好的方式是整体提升模型的通用能力。
• 算力受益方法： 专注于能随计算能力扩大而受益的方法，如测试阶段算力（test-time compute）、合成数据（synthetic data）或混合专家模型（MoE）。
• 长期领导者： 关注通用能力提升并持续扩展模型（如DeepSeek扩展到3.8e25 FLOPS）最终成为真正的前沿领导者。