一个 AI 助手为准备海外报销申请，已经操作了数百次：阅读说明、检索交易、收集凭证。等到终于进入费用报销系统，大部分操作额度都已耗尽。到了第 500 步，它还在摸索日期该怎么填，申请依然没有提交。这是 OSWorld 2.0 记录的一次失败，也呈现了流畅回答背后容易被掩盖的办公困境：准备工作耗尽了原本留给交付的时间。[1]

这项基准由香港大学 XLANG Lab 牵头合作开发。项目页面列出 108 项长流程计算机任务，人类完成这些任务的耗时中位数约为 1.6 小时。任务拉长到这个程度，助手就容易在操作途中忘记最终要向用户交付什么。[1]

截至 2026 年 10 月 19 日，解读 OSWorld 2.0 时，需要分清研究中的评测与复现评测所用的软件。OSWorld 2.0 在 6 月引入了这些更长的任务流程，代码仓库随后于 9 月 16 日宣布推出 osworld-v2.1 维护版本。阅读成绩时，成功的判定标准和基准版本都应与结果一并保留。[3][5]

从操作应用到承担完整任务

最初的 OSWorld 论文于 2024 年 4 月提交，建立了一套有用的评测基础：369 项任务覆盖真实的桌面与网页应用、文件操作，以及跨多个程序的工作。每项任务都配有计算机初始状态，以及依据实际执行结果评分的评估器。智能体必须在环境中做出能够核验的改变。[2]

这一设计回应了一个常见混淆：描述操作成功，很容易被当成操作本身已经完成。即便把编辑电子表格的方法讲得清清楚楚，表格仍可原封未动。检查操作后的实际状态，才能把回答与它产生的结果联系起来。初版基准明确了这层联系，让研究者得以观察智能体在界面使用和软件操作上遇到的困难。[2]

XLANG 更广泛的研究方向，也解释了这项工作的延续性。实验室将自己的目标描述为：把语言与感知转化为数据库、计算机和物理系统中的实际操作。它于 2026 年 6 月 26 日宣布推出 OSWorld 2.0。[3] 在中国 AI 研究的这条脉络中，贡献也包括衡量能力所用的工具：把任务定义得足够清楚，让不同智能体能够尝试，让研究者能够检查实际发生了什么。

两种分数，回答两个问题

OSWorld 2.0 按各项任务专设的检查点评估最终环境，允许智能体采用不同的有效步骤达成结果。部分得分记录评分标准已满足多少；二元完成判定则要求所有计分检查点都得到充分满足。论文报告，每项任务平均设有 27.25 个检查点。[4]

论文表 3 中，Claude Opus 4.8 在最高思考强度、批量工具调用的设置下，部分得分为 54.8%，二元完成率为 20.6%。这些成绩覆盖全部 108 项任务，采用截图作为观测输入，操作预算为 500 步，基准版本为 v2026.06.24。实验在 AWS CPU 实例上以无头模式运行；批量操作允许在一步之内包含多次工具调用。[4]

两项成绩之间的差距值得细看。部分得分区分了实质进展与毫无收获的尝试，完成率则检验整项任务是否满足全部评分标准。两者与节省的人类工时之间，都还缺少直接的衡量关系。审核者补齐一个漏填字段，有时很快就能收尾；一份看起来已经做了大量工作的成果，也有需要逐行核查的情形。若要据此判断生产率，还需要另行研究补正和复核究竟花费多少工作量。

成绩旁边，也应写明测试环境

成绩还取决于智能体进入了怎样的环境。代码仓库将 9 月的 2.1 版本描述为一次错误修复更新，其中调整了智能体与评测流程，并固定了组件引用的版本。安装说明要求代码、任务文件、资源和模拟网站采用彼此匹配的版本。官方任务实现通过受限访问的数据集分发，以减少答案和评估器细节在智能体联网搜索时泄露的机会。[5]

这也是阅读排行榜时必须留意的一点。即便模型保持原样，任务或评估器的变化也能影响成绩。因此，6 月论文中的数字应保留原有版本标记，不能改称新近测得的 2.1 版成绩。新版可以改进测试，结果比较也需要重新开展。

项目的版本发布文档把这些要求写得格外具体。发布清单列明应当配套使用的任务与资源版本、网站代码、评测代码和虚拟机镜像，并将这些共同输入与单次运行的来源及配置记录区分开来。采用不同基础设施服务商的运行结果，只有在维护者核验过各方镜像足够等价之后，才可视为具有可比性。[6]

仅列出模型名称，再在成绩旁写上“OSWorld”，仍会遗漏必要信息。发布清单记录了共同的起始条件，每次运行本身还需要单独留档。[6]

更有说服力的结果，应展示什么

从这套设计看，这项基准鼓励研究者一并报告两方面的进展：智能体完成整项任务的能力提升了多少，以及有哪些证据说明比较条件始终保持一致。今后的成绩若附上发布清单、逐项任务结果，以及仍然存在的失败案例，会比一个脱离测试条件的百分比更有用。

报销案例给出了审视这些结果时可以追问的问题：助手留给用户的，是一笔已经提交的申请，还是尚待完成的准备工作？研究评分可以认可准备阶段的进展，等待报销的人依然需要申请真正提交成功。

来源

1. OSWorld 2.0 项目团队，《OSWorld 2.0: Benchmarking Computer-Use Agents on Long-Horizon Real-World Tasks》；机构归属、任务统计，以及 Task008 报销失败的操作轨迹，访问日期：2026 年 10 月 19 日。
2. Tianbao Xie 等，《OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments》，首次提交于 2024 年 4 月 11 日；初版任务与依据执行结果的评测。
3. 香港大学 XLANG Lab，官方研究概览及 2026 年 6 月 26 日的 OSWorld 2.0 发布公告。
4. Mengqi Yuan 等，《OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks》，arXiv 第 1 版，2026 年；第 2.1.3 节及第 3.1–3.2 节、表 3，以及附录 G.3.1 中关于评分与评测条件的说明。
5. XLANG Lab，OSWorld-V2 仓库 README；2026 年 9 月 16 日的版本发布公告、安装组件的版本匹配，以及受限访问的任务分发，访问日期：2026 年 10 月 19 日。
6. XLANG Lab，《Benchmark Releases》，OSWorld-V2 文档；发布清单、单次运行的来源与配置记录，以及服务商之间的可比性，访问日期：2026 年 10 月 19 日。
7. Adon3465，《University of Hong Kong Main Building》，照片摄于 2013 年 1 月 30 日，Wikimedia Commons；图片来源与 CC BY-SA 3.0 许可。