ScaleCUA 很容易被归入“又一个 GUI 代理基准”,随后真正的信号被掩盖。这里重要的中国 AI 问题,焦点并不在于某个开放模型能否在演示里点击一个按钮。焦点在于,中国研究团队是否正在把计算机使用代理转化为可复现的数据循环:采集界面轨迹,训练定位与规划行为,发布模型与代码,跨操作系统评测,并把整套流程开放到其他团队能够运行的形态。

截至 2026-06-09T05:03:41Z UTC,ScaleCUA 的公开线索包括 ICLR 2026 oral 记录、arXiv 论文、GitHub 仓库、Hugging Face 模型与数据集页面,以及 OpenGVLab 的上海人工智能实验室关联。[1][2][3][4][5] 这一点重要,是因为计算机使用代理已经不再只是产品界面的故事。它正在变成数据供给的故事。谁能生产可靠、多样、跨平台的动作轨迹,谁就比只会搭建整洁单窗口演示的一方拥有更强的主张。

瓶颈在轨迹,不在截图

ScaleCUA 论文把问题讲得很直接:视觉语言模型可以操作 GUI,但稳健的计算机使用代理需要关于软件界面与操作的域内知识,而操作轨迹稀缺且采集成本高。[2] 这正是中心约束。截图教模型界面长什么样。轨迹教模型界面允许什么操作、一个序列会改变什么,以及有状态任务如何从意图推进到动作。

ScaleCUA 的回答,是扩展轨迹层。ICLR 记录描述了一个覆盖 6 个操作系统3 个任务领域 的数据集,它通过自动化代理与人类专家结合的闭环流程构建。[1] GitHub README 使用同样的表述,并把发布内容连接到代码、数据、模型、playground 环境和在线评测套件。[3] 把这些材料合在一起看,ScaleCUA 更像一次对代理训练周期本身的打包尝试,而不只是论文里的结果。

这种打包就是中国 AI 信号。2024 年和 2025 年,许多中国 AI 发布依赖模型卡、聊天演示、视频生成样片,或云 API 可用性。ScaleCUA 指向另一个层面:乏味却具有决定意义的计算机使用数据机器。若代理表现依赖横跨 Windows、macOS、Ubuntu、Android 与 Web 的高质量轨迹,那么前沿就不只由模型规模决定,还由采集设计、标注纪律、环境覆盖与评测诚实度共同塑造。[1][3]

Hugging Face 数据集页面让数据的物质形态变得可见。数据行包含界面图像、用户指令、模型风格的动作输出、像素尺寸,以及把点击终端搜索图标、浏览 Ubuntu 桌面帮助等任务映射为可运行动作字符串的对话。[4] 这不耀眼,却正是代理需要的数据形状。模型需要学习的不只是按钮是什么,还包括在特定界面状态下,一条指令如何变成点击、拖拽、文本输入、滑动或多步操作。

跨平台是更难的主张

许多 GUI 代理结果在环境收窄时最强。只面向 Web 的代理可以利用浏览器的规律。只面向移动端的代理可以学习触控惯例。只面向桌面的代理可以专门适配窗口、菜单、文件选择器和键盘快捷键。ScaleCUA 的主张更难,因为它把同一个代理叙事放到了异质平台之间。

GitHub 项目称,其评测套件覆盖面向 Android 的 AndroidWorld 与 AndroidLab、面向 Ubuntu 的 OSWorld、面向 macOS 的 MacOSArena、面向 Web 任务的 WebArenaLite-v2,以及面向 Windows 的 WindowsAgentArena。[3] 这种跨度比任何单一分数都更重要。跨平台代理会以普通聊天基准掩盖的方式失败:坐标系统发生变化,无障碍能力各不相同,菜单出现在不同位置,桌面存在悬停行为而移动端没有,键盘焦点会变得不可见,一个在某个应用中安全的动作在另一个应用里会产生破坏。

因此,论文报告的数字应当作为流水线证据来读,不能视为覆盖一切部署场景的承诺。OpenReview 与 arXiv 摘要报告了 WebArena-Lite-v2 上 +26.6、ScreenSpot-Pro 上 +10.7 的提升,以及 MMBench-GUI L1-Hard 上 94.4%、OSWorld-G 上 60.6%、WebArena-Lite-v2 上 47.4% 等结果。[1][2] 这些是有用锚点。它们显示,以数据为中心的方法能够推动基准。它们不能推出 ScaleCUA 模型可以在缺少权限、沙箱、日志和回滚机制的情况下安全操作任意企业软件。

这个边界很重要,因为计算机使用代理会触碰工作的实时表面。文本模型可以幻觉。GUI 代理可以点错确认框、删除文件、发送消息、更改设置,或暴露私有数据。因此,生产问题的表述不应停在“它能行动吗?”生产问题应落到“它能否在受治理的动作空间内行动,并拥有足够的可观测性,让失败仍有恢复路径?”

开放模型表面改变了谁能检验这个想法

Hugging Face 模型页面给 ScaleCUA 提供了超出论文的实际入口。它展示了通过 Transformers 加载 OpenGVLab/ScaleCUA-3B、通过 vLLM 或 SGLang 提供服务,以及使用 Docker 风格 runner 的示例。[4] 更重要的是,它把动作设计拆分成两种模式。Direct Action Mode 面向即时 GUI 定位,Reasoned Action Mode 被描述为通用计算机使用自动化的推荐路径,因为它允许模型先推理一个多步任务,再输出动作代码。[4]

这种拆分很有用,因为它承认“代理”包含多种不同动作。定位是短动作:识别正确坐标、按钮、字段或 UI 对象。原生计算机使用自动化是更长动作:维持任务上下文,决定下一步操作,并把动作输出限制在允许的函数内。因此,评估 ScaleCUA 的团队可以把它作为定位组件、原生代理,或大型工作流中的一部分来测试,在后一种形态里,更强的规划器可以把底层动作委派给它。

对中国 AI 而言,这也是一个分发信号。OpenGVLab 的 GitHub 组织页面说明,它是上海人工智能实验室的通用视觉团队。[5] 上海模速空间相关文章把上海人工智能实验室置于徐汇密集的基础模型集群之中,并描述了周边算力、开放数据、金融服务和 AI 产品体验基础设施的支持。[6] 从 [3]、[4]、[5] 和 [6] 推断:ScaleCUA 的发布面向开发者研究栈,目标对象需要数据、模型、playground、评测和集成表面,已经超出一次消费者助手发布。

这让它进入了与评测框架、服务栈、数据整理工具和模型中心相同的战略类别。它有助于让代理栈变得可检查。价值并不在于每个下游用户都应整体采用 ScaleCUA。价值在于,一个公开的中国实验室暴露了足够多的循环,让其他团队可以比较方法、建立基线,并测试 GUI 代理失败究竟来自哪里。

最强的制衡因素是分布迁移

显而易见的风险在于,ScaleCUA 学到的界面规律会迅速老化。操作系统会更新。Web 应用会重新设计流程。移动端权限会变化。企业软件隐藏在单点登录、自定义仪表盘、虚拟桌面和非标准控件之后。一个基准可以覆盖许多环境,同时仍会漏掉生产价值真正所在的私有软件。

这里还存在治理边界。模型页面上的动作空间示例包括 click、double-click、right-click、move、drag、swipe、long press、type、press、hotkey、scroll 和 wait 等函数。[4] 这是一套强大的词汇,也是一套权限词汇。在公司允许模型把这些动词用于真实软件之前,它需要围绕哪些窗口属于范围内、哪些动作需要人工确认、哪些数据可以读取、日志存放在哪里,以及错误动作如何撤销,建立明确政策。

这个现场信号的证伪条件很具体。如果 ScaleCUA 式发布停留在基准工件,不能带来更好的可复现代理训练、更安全的沙箱、更丰富的评测套件和更强的跨平台基线,那么这个项目会被记作一篇强论文,难以进入基础设施层面。如果相反的路径发生,中国代理竞赛将更少像聊天机器人外壳之争,更多像数据循环之争。

因此,有用的解读范围很窄,却很重要。ScaleCUA 没有证明开放 GUI 代理已经准备好运行一家公司。它证明,更难的那一层已经公开到足以被检查:跨平台轨迹、闭环数据采集、动作模式设计、可部署模型卡和基准套件。放在中国 AI 语境里,这是从演示吸引力转向基础设施的一步。计算机使用代理的可信度,取决于教会它如何行动的数据循环。

Sources

  1. OpenReview,《ScaleCUA: Scaling Open-Source Computer Use Agents with Cross-Platform Data》(ICLR 2026 oral 记录;2026 年 1 月 26 日发布,2026 年 4 月 11 日最后修改)。
  2. Zhaoyang Liu 等,《ScaleCUA: Scaling Open-Source Computer Use Agents with Cross-Platform Data》,arXiv:2509.15221(论文摘要、数据集范围、基准数字和 DOI)。
  3. OpenGVLab,ScaleCUA GitHub 仓库(发布说明、项目结构、数据集/模型/代码链接、playground、评测套件和训练代码)。
  4. Hugging Face 上的 OpenGVLab/ScaleCUA-3B(模型卡、加载/服务示例、数据集关联、Direct Action Mode、Reasoned Action Mode 和动作空间示例)。
  5. OpenGVLab GitHub 组织页面(说明 OpenGVLab 是上海人工智能实验室的通用视觉团队)。
  6. English Shanghai Government,《Shanghai Foundation Model Innovation Center: A glimpse into a world-class AI incubator》(2025 年 4 月 30 日;真实摄影封面图与上海 AI 生态语境的来源页面)。