一个系数从四变成二，物理答案便成了错解。解题者究竟理解了多少？PHYBench 的评分示例把这个问题摆到了眼前。参考表达式是 2mg + 4mv₀²/l，待评答案保留了相同的项，却把第二项的系数减半。公开示例中，这份答案的得分四舍五入后为 47，与参考答案一致的表达式则得 100 分。[4]

这段分差背后的问题，正是这个基准关注的重点：怎样从错误答案中读出有用的信息，同时守住正确与错误的界线。PHYBench 由一个以北京大学物理学本科生为核心的团队开发，相关论文被 NeurIPS 2025 收录。北京大学在 2025 年 9 月 22 日发布的消息，将这项工作放在物理学专业知识融入 AI 教育与评估的整体探索中介绍。[1]

用表达式结构衡量偏差

PHYBench 收录了 500 道原创物理题。数据集说明列出的领域包括力学、电磁学、光学、热力学等，解题都需要多个步骤。最终答案的形式有严格要求：只能提交一个符号表达式，允许等价写法，排除数值近似和连串方程。[3] 这样的答案可以交给数学评估程序检验。

评分代码首先尝试用符号化简和相等性检查来识别等价表达式。因此，纸面上写法不同的两个式子也能获得满分。对于其余情况，评估程序把数字、变量、运算和函数表示成树上的节点，再衡量让两棵树的结构一致所需的编辑量。[4]

可以把这棵树理解为公式的语法。乘法把一组物理量联系起来，加法连接各项，指数则改变变量参与运算的方式。系数错位与遗漏一项，会在这种语法中留下不同的痕迹。通常的对错二分评分会把两份答案都归为失败，这项指标则保留了两者的差异。

默认评分规则也为正确答案保留了显著的奖励。编辑距离为零时，得分为 100；其余情况下，代码用 60 减去相对距离的 100 倍，最低记为零。例如，相对距离为 0.1 时，得分就是 50；这一数值来自评分规则的演示计算，未取自模型实测结果。[4]

这里有一点容易被忽略：单份答案即使与参考表达式的距离很小，只要距离大于零，也拿不到 99 分。在满足正确性判定之前，它的得分始终低于 60。平均分则汇总了不同答案，仍可落在 60 到 100 之间。把平均分读成答对题目的百分比，就会丢掉这项指标原本要保留的区别。

零分值得再看一眼

代码实现还有一处值得留意。待评答案为空、含有某些评估程序尚不支持的积分或求和表达式，或答案字符串长度超过参考表达式的三倍时，程序都可以在比较表达式树之前直接给出零分。常规执行流程中，表达式转换失败也会返回零分。文档提供了调试模式，用于显示这些错误。[4]

这些规则具体界定了评估的范围。模型既要解题，也要按已发布评估程序接受的形式交出表达式。设想两份未能通过评估的答案：一份格式清晰，公式却错了；另一份把答案埋在解析器无法转换的格式中。它们得分相同，需要修正的问题却各不相同。

如果重新开展一轮比较，我会保留提取出的表达式，并单独检查零分案例。这样就能辨别分数的提升究竟来自物理能力进步、对答案格式要求的遵守，还是两者兼有。这类复核可以为分数补充信息，同时保留原有的评分定义。

结构相近还有更深一层的局限。论文明确说明，EED（表达式编辑距离）既未评估完整的推导过程，也缺少量纲一致性检查。[2] 一个公式可以与参考表达式相似，中间论证却站不住脚。反过来，符号上很小的改动，也能造成很大的物理差异。部分得分为提交的表达式提供了证据；要据此完整描述解题者的理解程度，还需要更多证据。

把结果放回它所属的实验

在 2025 年 5 月 18 日修订的论文中，Gemini 2.5 Pro 以 36.9% 的准确率领先于所报告的其他模型，人类基线为 61.9%。参与测试的人类组由 81 名北京大学物理学学生组成，其中包括 50 名中国物理奥林匹克竞赛金牌获得者。这项比较针对具有专业背景的群体，不能视为对整个人群能力的估计。[2]

这些百分比需要连同实验设置一起阅读。经 API 评估的模型采用服务默认设置；本地评估的模型则将温度设为 0.6、top-p 设为 0.95，token 上限为 32,768，使用四块 80 GB A100 GPU。评估程序提取最终放在方框中的表达式。[2] 这些条件属于当时的实验，所得结果不足以确定 2026 年 10 月可用模型的排名。

公开发布的资料也有范围限制。数据集说明将文件区分为两部分：100 道题附有完整解法和参考答案，另外 400 道仅提供题目；此外还有一份合并全部 500 道题的文件。[3] 因此，仅下载全部题目，仍无法获得本地完整评分所需的全部参考答案。复现实验应说明实际使用了哪个文件、评估了哪部分题目。

在我看来，PHYBench 持久的贡献在于让评分中的取舍清晰可见。答案是否正确、符号表达是否相似、推导质量如何，这几项判断彼此相关，也各自需要证据。那个从四变成二的系数依然是错的。这里有价值的进展，是让人看清出错之后答案还保留了什么，并知道评分从未检验解答中的哪些部分。

来源

1. 北京大学物理学院，《北大 PHYBench 物理 AI 基准获国际人工智能顶级会议录用》（2025 年 9 月 22 日；介绍团队与教育背景的中文一手资料）。
2. Shi Qiu 及其合作者，《PHYBench：大语言模型物理感知与推理能力的全面评估》，arXiv 第 2 版（2025 年 5 月 18 日；实验设置、人类基线、主要结果及评分局限）。
3. Eureka Lab，PHYBench 官方数据集说明（发布文件、题目范围及答案要求；查阅于 2026 年 10 月 28 日）。
4. PHYBench 团队，EED 官方实现与文档（EED.py 与 readme.md：评分示例、表达式处理、评分函数及错误处理方式；查阅于 2026 年 10 月 28 日）。
5. Europejska，《物理学院》（照片，2020 年 5 月 17 日；北京大学建筑，Wikimedia Commons，CC BY-SA 4.0）。