设想给 AI 一张厨房照片，问它哪个橱柜的门开着。它答对了。接着拿走照片，再问一次。如果它仍然答对，第一次答对的原因就更难解释：题目措辞透露了线索、模型记住了这个例子、碰巧猜中，都可以作为待查的解释。要知道图片究竟贡献了什么，评估者需要一组对照。

MMStar 把这组对照放在了基准测试的中心。这项 2024 年的研究由中国科学技术大学、香港中文大学和上海人工智能实验室的研究人员共同开展，考察的是：视觉模型答对一道视觉问题，有多少成绩应归功于看图。[1] 排行榜会变，这项研究的价值仍然成立：它为图片设置了对照条件。

一个结果背后的三组测试

官方仓库要求提交者提供三份结果文件：视觉语言模型接收图片时的结果，同一模型只接收文字题目与选项时的结果，以及其原始语言模型骨干仅接收文字时的结果。[2]

每组测试回答的问题各有侧重。第一组衡量模型完成完整任务的表现，第二组观察移除图片后模型还能做到什么，第三组确定底层语言模型的起点。保留这三组结果，才能分清哪些提升与看图有关，哪些提升在适配后的模型只读文字时就已存在。

论文把多模态增益（multimodal gain，MG）定义为同一模型有图时的准确率减去无图时的准确率。多模态泄漏（multimodal leakage，ML）则用适配后模型的纯文本准确率减去原始语言模型骨干的准确率，差值为负时记为零。[1]

下面是一个假设示例，各组测试使用完全相同的题目与评分方法：

两者最终都达到 60%。按 MMStar 的定义计算，A 的增益为 20 个百分点，ML 值为 15 个百分点；B 的增益为 35 个百分点，ML 值为零。这些数字仅用于演示计算，并非已发布系统的实测结果。

这些差别让相同的准确率有了不同的解释。B 的成绩更依赖图片的加入，A 则获得了更大的无图优势。单凭这张表，还无法解释这种优势从何而来，但它指出了值得进一步调查的对照关系。

B 的增益更大，选型时仍要看具体任务。在这个例子里，只要有图片，两者的准确率就相同。额外的测量有助于解释模型的行为；对选择系统的用户而言，它能否完成实际任务仍是重要考量。

泄漏信号还需要解释

ML 这个名称需要审慎理解。它的公式测量不同模型条件下的分数差，测量过程没有检查训练语料。出现正值时，应进一步调查是否存在数据污染；若要证明模型记住了特定样例，还需要更多证据。 语言能力的变化、遵循答案格式的能力变化，也都是评估者需要核查的解释。单凭这组对照所能作出的推断，到这里仍有限度。

将负值归零的做法还有一项限制。如果适配损害了模型的纯文本表现，ML 会记为零；两组纯文本分数相等时，ML 同样为零。因此，保留原始分数，就能留下汇总指标舍去的信息。

语言模型骨干也必须选对。为了方便而换用规模相近的语言模型，实验所回答的问题就变了。如果无法测试实际使用的前身检查点，三方对照就缺了一项，报告应明确呈现这一缺项。

MMStar 的提交说明把原始语言模型骨干的结果列为所需证据的一部分。[2] 模型发布时若只公布一个亮眼的准确率，这项要求尤其有用：它要求开发者公开对照结果，补全单个分数未能交代的信息。

数据集经过筛选，也保留了来历

已发布的数据集共有 1,500 道题目，平均分配到六类能力中。数据集卡记录了筛选过程：从最初的 22,401 个样例缩减到 11,607 个候选样例，再完成最终筛选。公开的数据行保留了类别标签与来源元数据，包括每道样例出自哪个早期基准、其中哪个数据划分。[3]

这些来源信息给了审核者具体的核查依据。他们可以查明题目最初所属的基准与数据划分，检查答案选项，再判断图片是否确实包含解题所必需的信息。这些记录也清楚表明，数据集是在既有材料中筛选、整理而成的。

筛选能减少已知缺陷，公开测试却始终面临题目暴露的风险。题目和答案一经公开，今后的训练流程就有机会接触到它们。我的理解是，每次评估新模型时重新执行 MMStar 的对照测试，并逐一检查可疑样例，最能体现这些对照的价值。数据集创建时的筛选记录，无法替代后续的核查。

现行评测工具实际报告什么

在实际使用中，数据集评测与完整实验之间的区别依然重要。2026 年 11 月 6 日查阅的 EvalScope 中文 MMStar 文档，介绍了默认在验证集上开展的评测：示范样例数为零，提示词要求逐步推理，并在最后给出答案字母。工具报告总体准确率和各类别准确率。命令行示例把测试限制为十道题，并明确提示用户在正式评测时去掉这一限制。[4]

这些设置描述的是一次特定的评测运行，MMStar 作者要求的另外两份结果文件仍需单独准备。因此，一份标题写着“MMStar 准确率”的报告，即使结果有效，也仍会留下视觉增益与语言模型骨干对照这两个待答的问题。

为了让比较有据可依，我会把数据集修订版本、模型检查点、图像处理方式、提示词、响应解析方式和样本数量，与所有可用分数一同保留。其中任何一项改变，结果所描述的内容都会随之变化。小规模演示有助于检查评测流程是否运转正常，报告时也应始终注明这个较小的样本基数。

MMStar 留给读者一个有用的习惯：模型回答了关于图片的问题，就追问图片消失后会怎样；接着再问，它在学会接收图片之前能做到什么。几组答案之间的差距，正是评估开始提供有效信息的地方。

来源

1. Lin Chen 等，《Are We on the Right Way for Evaluating Large Vision-Language Models?》——arXiv v2，2024 年 4 月 9 日；作者所属机构及第 4.3 节的指标定义。
2. MMStar 作者，官方仓库——要求提交的三份结果文件与评测说明；访问日期：2026 年 11 月 6 日。
3. Lin Chen，MMStar 官方数据集——筛选数量、类别均衡情况与逐条样例的来源字段；访问日期：2026 年 11 月 6 日。
4. 阿里巴巴 ModelScope，EvalScope 中文 MMStar 文档——提示词、数据划分、准确率报告与演示样本数量限制；访问日期：2026 年 11 月 6 日。
5. Wikimedia Commons 贡献者德川裕，中国科学技术大学 H2O 水上报告厅——照片摄于 2023 年 11 月 7 日；署名信息与 CC BY 4.0 许可。