排行榜幻觉：Chatbot Arena排名失真与数据偏差

排行榜幻觉揭示Chatbot Arena排名偏差：私有测试、数据倾斜及过度拟合导致排名失真，建议改革评估框架以实现更公平基准测试。

• 标题： "排行榜的幻觉" (The Leaderboard Illusion)

• 核心发现： Chatbot Arena排行榜存在系统性问题，导致AI系统排名失真。

• 问题一： 未公开的私有测试行为，允许少数提供商在公开发布前测试多个变体，并可撤回不理想的得分，导致选择性披露偏差。Meta在Llama-4发布前测试了27个私有LLM变体。

• 问题二： 封闭模型（proprietary closed models）比开源模型获得更高的采样率（battle次数），且更少被从Arena移除，导致数据访问的不对称。

• 数据偏差： Google和OpenAI分别获得了Arena上19.2%和20.4%的数据。相比之下，83个开源模型总共仅获得了29.7%的数据。

• 数据优势： 访问Chatbot Arena数据可以带来显著的性能提升，即使是有限的额外数据也能带来高达112%的性能提升。

• 结论： 这些问题导致模型过度拟合Arena特定的动态，而非提升通用模型质量。

• 建议： 改革Chatbot Arena的评估框架，促进更公平、更透明的基准测试。