大模型推理：思维链与自洽性加持，仍有三大“硬伤”

本内容基于Google DeepMind科学家Denny Zhou的分享，探讨了大型语言模型（LLM）如何通过“思维链”和“自洽性”等方法执行复杂推理。研究揭示了这些技术能显著提升模型的推理准确性，但同时也指出了当前LLM在推理方面存在易受干扰、自我修正能力弱和对信息顺序敏感等关键局限性。

### 思维链 (Chain of Thought): 激发LLM的推理潜力

• 核心概念: 思维链 (Chain of Thought, COT) 是一种提示策略，通过引导模型在给出最终答案前，先详细写出中间的思考步骤和推理过程。
• 显著效果: 在引入COT后，模型在推理任务上的准确率出现了惊人提升，例如在某个任务上从接近零飙升至88%以上，且无需重新训练模型。
• 简化应用: 后续研究发现了更简单的“零样本COT”方法，仅需一句“让我们一步步思考”之类的指令，即可引导模型自动生成推理步骤，极大简化了应用。
• 方法起源: 该方法解决了早期“少样本提示”在需要精确步骤的推理任务上几乎无效的问题，展示了通过提示策略解锁模型内在能力的巨大潜力。

### 自洽性 (Self-Consistency): 提升推理结果的可靠性

• 第一性原理: 自洽性方法让模型对同一问题生成多个不同的推理路径，然后通过投票选择出现频率最高的答案作为最终结果。
• 类比人类: 这个过程类似于人类的“集思广益”或“条条大路通罗马”，认为正确的答案更有可能通过不同的有效路径被多次推导出来。
• 实践效果: 在多个推理任务上，与思维链结合使用的自洽性方法显著提高了模型的最终答案准确率。
• 依赖前提: 该方法的有效性高度依赖于模型能够生成有意义且多样的中间推理步骤，这是其发挥作用的基础。

### LLM推理能力的三大核心局限

• 易受无关信息干扰: 即使明确提示模型忽略文中的无关信息，其推理过程和最终答案仍然很容易受到这些干扰信息的影响，导致出错。
• 自我修正能力弱: 模型在尝试自我修正时，往往缺乏客观的判断标准，常常会把正确的答案“修正”为错误的答案。
• 对信息呈现顺序高度敏感: 在处理多步逻辑问题时，如果将条件信息的顺序打乱，模型的推理能力会显著下降，表明其处理无序信息进行复杂推理时非常脆弱。