设想你答对了一道几何题，随后又拿到同一道题，只是选项顺序换了。你选中的那个数还在，前面的字母却变了。你会跟着数值改选，还是继续选择原来的字母？

这点小小的变动，正是中文多模态评测基准 CMMU 的核心设计。它面向能够同时读取图像和文字的模型。北京智源人工智能研究院（BAAI）在 2024 年 1 月 27 日的发布公告中介绍，这套测试取材于学校考试，包含单项选择题、多项选择题和填空题。首个版本 v0.1 共收录 3,603 道题，覆盖七个学科。[1]

重读这次发布，历史排名之外还有一个更长久的问题：出题者采用的规则，决定了答对一道题究竟能证明什么。CMMU 检验答案能否经受选项重排、选择是否完整，以及措辞不同的回答能否得分。这是对模型的三项不同要求，也说明比较百分比数字之前，应先读评分流程。

答案换了位置，还能找到吗

对于有四个选项的单项选择题，CMMU 会循环移动选项，让每个选项依次出现在四个位置。模型分别作答每一种排列，全部答对才得分。智源的发布公告将这项测试称为 ShiftCheck，IJCAI 2024 论文则将其背后的评测流程称为 CircularEval。[1][2]

举一个示意例子：某个模型无论遇到什么题，都回答 B。四次轮换中，正确答案恰好有一次位于 B。若将这四次回答的得分取平均，结果就是 25%。按照 CMMU 以题目为单位的规则，得分为零，因为模型未能在所有排列中持续找到正确答案。

这种区别同样影响能力更强的模型。四次回答中答对三次、答错一次，整道题仍然得零分。在我看来，这里的正确率同时衡量了解题能力，以及题目呈现方式发生特定变化后，模型能否保持可靠。因此，读到这一指标时，需要将它与每题只采用一种选项排列的常规正确率区分开来。

论文还单独统计了未通过轮换测试的题目中，各答案字母被选中的次数有多不均衡，用“位置错误方差”（Positional Error Variance）诊断模型对选项位置的偏好。[2] 即使模型对任何字母都没有偏好，也仍会出现持续答错的情形。因此，位置偏差小与学科知识扎实，各自需要证据。

多选题漏选，答对的部分也得零分

多项选择题又设定了一条评分界线。公开的评测程序先清理模型回答，再将选中的字母排序，与参考答案比较，所选集合必须完全一致。[3]

假设正确选项为 A 和 C。只选 A，说明模型识别出了一条正确陈述，在这里仍然得零分；选择 A、C 和 D，也同样答错。这个例子用于说明代码中的规则，题目本身为示意设定。分数奖励的是找全正确选项，同时避开所有错误选项。

对评测者而言，同一个零分背后有两类值得区分的错误：漏掉了正确陈述，或接受了错误陈述。诊断分析时，可以在官方分数之外保留这两类记录，以解释失败原因，同时维持已公布指标的原有含义。

填空题撤去了供选择的答案。代码仓库的数据加载程序还会将含有多个小题的一道题拆成多条记录，并把共用题干带入每条记录。[4] 因此，计数单位会影响分数的解读：一条记录可以只对应某道较长习题中的一个部分。呈现百分比时，需要交代分母以及此前的数据处理过程，仅有考试题集的名称还不足以说明这些信息。

更换阅卷者，分数随之变化

代码仓库中的两张结果表最清楚地展示了这一点。采用 GPT-4 评判文字答案时，历史评测中 Qwen-VL-Plus 的测试集平均得分为 27.73%；采用规则评分时，这一数值为 21.34%。根据表中数值计算，两者相差 6.39 个百分点。这两个数值都是相应评分方式下整个测试集的平均得分，范围包含所有题型，超出了填空题子集。[4]

论文的原始实验采用中文提示词，并在零样本设置下开展测试。开放模型在 NVIDIA A100 GPU 上运行，闭源模型则通过各自的 API 访问。选择题的 temperature 设为零，输出上限为十个 token；文字答案的 temperature 设为 0.2，输出上限为 128 个 token。[2] 这些数字对应的是 2024 年的评测，衡量的是当时接受测试的模型版本。

两种阅卷方式的具体做法值得细看。在公开代码中，规则评分先将参考答案与模型回答规范化，再检查回答中是否有一行文本与参考答案的字符串相似度超过 0.7。模型评分则将题目、参考答案和模型回答一并提交给语言模型裁判。[3]

这两种操作与教师确认学生是否理解某个概念，都有距离。相似的字符串能够表达不同含义，不同的字符串也能表达相同答案；模型裁判还会带入自身的判断错误。两张表的分差证实了评分方式对结果的影响，至于具体哪一次判分更公允，仅凭这段差距仍难以确定。

怎样的提升才具有可比性

我建议，解读新的 CMMU 结果时，先看评测条件是否延续：使用相同的题目划分、选项轮换、答案提取方法和文字答案评分者，并注明受测模型及生成设置。若其中一项发生变化，报告应另列一组对照，单独呈现这项变化的影响。

我还希望看到对答对过程的进一步分析。模型是否在每一个选项位置上都找到了正确答案？是否选全了正确陈述，同时避开了其他选项？即使暂且放下自动评分结果，审阅者能否为模型给出的答案找到充分依据？这些问题让排行榜上的分数增长有了可供检查的内容。

CMMU 的长久贡献，体现在轮换选项所提出的要求中：答对一次之后，仍有一个重要问题有待回答。保持题目不变，挪动答案的位置，再看模型能否找到它。

来源

1. 北京智源人工智能研究院，“智源发布中文多模态评测基准 CMMU”，2024 年 1 月 27 日——中文第一手发布公告，介绍 v0.1 的收录范围与 ShiftCheck 流程。
2. Zheqi He 等，“CMMU: A Benchmark for Chinese Multi-modal Multi-type Question Understanding and Reasoning”，IJCAI 2024——第 4–5 节，介绍 CircularEval、位置偏差及原始实验设置。
3. CMMU 作者公开的评测程序——多项选择题的完全匹配评分，以及填空题的两种评分方法；访问日期：2026 年 10 月 19 日。
4. CMMU 作者，官方代码仓库 README——小题拆分方式，以及采用 GPT-4 和规则评分的两张独立结果表；访问日期：2026 年 10 月 19 日。
5. 北京智源人工智能研究院，2024 智源大会闭幕报道，2024 年 6 月 16 日——大会照片的机构原始来源。