语言模型在事实测试中答错，会呈现两种可观察的结果。一种回答没有给出参考答案，同时也没有与参考答案冲突；另一种回答则给出与参考答案相矛盾的内容。排行榜如果只记录正确回答的数量，两者之间的区别就会模糊。Chinese SimpleQA 的价值，正在于它保留了这一区别。

供职于阿里巴巴集团的研究人员于 2024 年 11 月首次发布这项基准；2025 年 7 月，相关论文以长文形式收入 ACL。题集包含 3,000 道中文简短开放题，覆盖六个大类和 99 个子类。它不让模型从四个给定选项中选择，而是直接询问一项事实，再把回答分为正确、错误或未作答。[1][2]

因此，到了 2026 年，Chinese SimpleQA 仍是一项有用的评测工具，其公开结果表却不宜当作当前模型排名。论文比较的是 2024 年前后的模型别名，包括 o1-preview、Doubao-pro-32k、GLM-4-Plus、GPT-4o、Qwen2.5、DeepSeek-V2.5 和 InternLM2.5，记录的是作者运行这些模型时的表现。这项基准延续至今的贡献，在于测试本身的形态：它以较低成本考察模型对中文事实的记忆、回答覆盖率与自报置信度。它的局限同样重要。搜索权限会改变任务；判分模型会影响标签；公开的静态题集能够进入后续训练数据；简短答案也很难说明一篇长回答能否从头到尾保持事实准确。[1]

测量单位是一条回答

Chinese SimpleQA 的基本设计继承自 OpenAI 的英文 SimpleQA。后者把事实准确性评测收束为简短问题，每道题预设一个稳定答案。输出空间缩小之后，评分更易执行：核对姓名、地点、标题或数字，比逐项审查一页文字中的所有主张容易得多。[3]

这项中文基准另行建立了一套本地题目分类。问题覆盖中国文化；人文；工程、技术与应用科学；生活、艺术与文化；社会；自然科学。每道题都必须能在 2023 年 12 月 31 日之前得到答案，参考答案也必须长期保持不变，不能取决于现任公职人员、即时价格或正在发生的事件。[1] 这一截止日期划定了评测范围。正确率反映的是模型对这组刻意保持时效稳定的事实的记忆，无法说明模型是否知道昨天发生了什么。

评分系统以五项指标呈现同一次运行：

单项指标都不足以完整描述表现。当更多输出被判为未作答时，CGA 可以上升；尝试作答的比例提高，也可以伴随更多错误回答。F-score 会削弱极高未作答率的吸引力，运营方仍应保留底层的三类计数。两个系统的 F-score 即使接近，如果一个给出更多未作答，另一个给出更多矛盾答案，带来的核验成本也会不同。[1] “未作答”是一个输出类别，不能直接证明模型有意识地拒答，也不能证明它知道自己缺乏把握。

2024 年的结果既关乎事实记忆，也关乎回答分布

论文的实验设置称共评测 41 个模型，其中 17 个闭源、24 个开源；主结果表却有 42 行模型结果：QwQ-32B-Preview 出现在表中，却没有列入逐一枚举的开源模型名单。实验采用各供应方的官方或默认采样设置，并以 GPT-4o 作为主要答案判分模型。o1-preview 正确回答了 63.8% 的问题，12.2% 的回答被判为未作答，24.0% 被判为错误；其已作答条件下的正确率为 72.7%。Doubao-pro-32k 的正确率为 61.9%，未作答率为 10.3%，错误率为 27.8%。[1]

GPT-4o 清楚说明了为何需要拆开这些指标。它的正确率为 59.3%，与两个领先模型接近；但其回答中只有 1.4% 被判为未作答，39.3% 被判为错误。Claude 3.5 Sonnet 的正确率较低，为 46.2%，未作答率和错误率分别为 27.4% 与 26.4%。这些数字无法揭示任何一个模型的内在置信度或意图，却呈现了单一准确率会遮蔽的回答分布。[1]

校准实验进一步凸显了这一点。研究要求模型为每个答案附上 0 到 100 的置信度。论文校准图所列的八个系统中，只要分箱后的置信度高于 50%，对应的经验准确率都低于自报置信度；较大版本的校准表现通常优于同系列的较小版本。这是在该实验设置下观察到的总体过度自信证据，不能据此判断模型在某一道题上究竟“知道”什么。[1]

这些数字必须保留其时间标记。它们描述的是 2024 年前后的供应方模型别名、提示词、默认设置与 GPT-4o 判分模型，不能代表当前的 Doubao、Qwen、DeepSeek、GLM、GPT 或 Claude 系列；论文也没有始终明确托管模型的精确快照。如果在 2026 年的 API 上重新运行题集，却没有固定模型版本、判分模型、系统提示词、采样策略与工具权限，所得结果将构成一项新实验，无法直接延伸旧结果表。

中文知识改变了排序

Chinese SimpleQA 没有直接翻译英文题集。研究团队另行生成并核验了一套语料，论文中的模型排序也随之变化。在论文对 12 个模型所作的跨基准比较中，Doubao-pro-32k 在英文 SimpleQA 上排名第十二，在 Chinese SimpleQA 上升至第二。在中国文化类别中，Doubao 报告的 F-score 为 61.8，o1-preview 则为 45.7。[1]

这种名次反转体现了基准的作用，但没有证明任一基准找到了普遍更优的模型。所谓“事实准确性”，会受到提问语言、事实分布、答案所接受的名称与音译方式、模型训练语料及后训练行为影响。英文事实记忆不能替代中文事实记忆，中文文化切片也无法代表医学、工程或实时搜索。

开放式回答还去掉了选择题内置的线索。论文另做了一项实验，将一部分 C-Eval 题目改为开放式回答；模型失去从给定选项中识别或猜测答案的条件后，表现随之下降。[1] 这种格式因而更贴近纯粹的事实回忆测试。其评测目标依然不在推理：基准有意偏向简短事实，而不是多步解释。

加入检索后，评测对象变成另一项任务

论文中对实际使用最重要的一项实验加入了检索。研究通过基于 LlamaIndex 的流程提供 Google 搜索结果，GPT-4o 的 F-score 从 59.7 升至 81.8，Qwen2.5-3B 则从 17.3 升至 72.5。当大小不同的 Qwen2.5 版本都能查阅外部资料后，两者之间的差距大幅收窄。[1]

第二轮实验改用 Baidu 搜索结果，参与比较的六个系统都得到较低的 F-score。Qwen2.5-3B 得到 68.2，低于使用 Google 结果时的 72.5；作者将差异归因于其实验流程中噪声更多的检索上下文。这些结果不能支持某个搜索引擎长期占优的判断。检索分数属于一套完整系统：查询改写、索引覆盖、排序、摘要片段、上下文组装、模型指令与答案评分都会影响结果。[1]

因此，闭卷 Chinese SimpleQA 衡量的是简短回答中的参数化事实回忆，以及实际观察到的正确率、错误率与未作答率。加入检索的运行衡量的是通过某一特定搜索栈生成有资料依据的答案。两者都有用途，如果放进同一张不加区分的排行榜，未披露的工具优势就会得到额外奖励。生产评测至少应分别报告三条赛道：不使用工具、使用冻结的共用语料库，以及使用供应方各自的实时检索。

数据集构建严谨，仍需独立审计

这套数据经过系统构建。团队从 10,000 组生成的问答对开始，结合模型与检索开展核查，删除五个强模型都能答对的简单题，再经人工复核保留约 3,000 道题。每个候选题必须由两名标注员独立核查，并附上至少两个支持答案的 URL；遇到分歧时由第三人裁决。在另一项稳健性检查中，四个 Qwen2.5 判分模型和 GPT-4o 对六个选定系统评分：绝对分数有所不同，相对顺序保持稳定。[1]

这些保障增强了基准的可信度，同时也显露出未来审计需要检查的依赖关系。GPT-4o-0806 参与了问题生成与自动验证，GPT-4o 则担任主要判分模型。难度筛选删除了五个指定模型全都答对的问题。发布前还另设一道安全风险筛选，用于移除问题与答案，但论文没有公布按类别划分的淘汰审计。上述情况没有让题集失效；它们说明最终的 3,000 道题来自一套生产流程，不能视为全部中文事实的中性样本。[1]

公开可用性划出了第二条界线。发布前，团队将新问题与数据库比对，并改写高度相似的题目，以减少构建阶段的直接记忆效应。[1] 然而自发布以来，完整数据集已经可以从 Hugging Face 下载。[2] 这些原题存在进入后续模型预训练、监督微调、评测调优或合成数据生成流程的风险。“静态”只能让参考答案保持稳定，无法让测试内容继续保密。

这项基准的英文前身也留下一则值得参考的提醒。2025 年，Google 研究人员发现原始英文题集中存在噪声标签、主题失衡与重复问题，随后推出 SimpleQA Verified。他们重新核对来源、平衡主题、去除重复问题，并修订了自动评分器。[4] 这项工作没有证明 Chinese SimpleQA 也存在同样缺陷。它表明，简短而稳定的答案仍然需要独立的逐题审查。

Chinese SimpleQA 自身的局限部分保持了恰当范围：六个大类覆盖不了所有细分领域；静态题集会漏掉不断变化的事实；短文本评分也忽略了复杂推理与更细致的事实准确性问题。[1] 一次可信的 2026 年更新，应当加入一组独立编写的隐藏测试题；按类别公布排除题目与争议裁决的统计；用多种中文能力较强的判分模型对照人工标签；并测量题目与常见训练语料的重合度。

2026 年应当怎样解读 Chinese SimpleQA 分数

一份有用的评分卡，应在给出排名前回答五个问题：

  1. 运行的具体对象是什么？ 固定模型的精确快照、端点区域、提示词、采样设置与判分模型版本。
  2. 它怎样出错？ 公布正确率、错误率、未作答率、已作答条件下的正确率与校准结果，不能只给出 F-score。
  3. 它能看到什么？ 分开报告闭卷、冻结检索与实时搜索结果，并注明检索供应方和语料日期。
  4. 它在哪些类别有效？ 单独列出中国文化和其余大类，避免总体提升掩盖地区或领域短板。
  5. 它接触过试题吗？ 将公开题集与新编的隐藏题集配套使用，并逐题调查异常显著的提升。

以这种方式使用时，Chinese SimpleQA 会比最初的排行榜更经得住时间。它不能认证模型诚实，也无法模拟长篇报告或智能体依据检索信息采取行动时承担的事实负荷。它完成的是一项范围较小、结果却少见地清晰的工作：把正确回答、矛盾回答和没有给出参考答案的回答分开。最值得保留的结果，是这种区分；榜首名次居于其次。

来源

  1. Yancheng He 等，“Chinese SimpleQA: A Chinese Factuality Evaluation for Large Language Models”，Proceedings of ACL 2025——数据集构建、论文所述的 41 模型设置与包含 42 行的结果表、指标、校准、检索实验、判分模型分析及局限。
  2. OpenStellarTeam，Hugging Face 上的 Chinese-SimpleQA——公开数据集卡片、3,000 道题的语料、学科覆盖、文件及论文链接。
  3. Jason Wei 等，“Measuring short-form factuality in large language models”（2024 年 11 月）——英文 SimpleQA 的原始设计，以及正确、错误、未作答三类评测划分。
  4. Lukas Haas 等，“SimpleQA Verified: A Reliable Factuality Benchmark to Measure Parametric Knowledge”（2025 年 9 月 9 日首次发布；2026 年 3 月 10 日修订）——对英文基准开展的独立来源核对、去重、主题平衡和自动评分器修订。
  5. Alibaba Cloud Community，“Green by Design: Inside Alibaba's International Headquarters Built for Sustainability”（2024 年 6 月 5 日）——本文所用阿里巴巴西溪全球总部纪实照片的官方来源页面。