多数 AI 规划器会列出步骤清单。UniVR 则把这些步骤画成图像。给它一张起始图像和一条指令——把绳子系在箱子上、折叠一件衣服、移动一个物体——这个拥有 340 亿参数的新模型会预测一连串中间视觉状态。它提出的优势与插图是否更漂亮无关,重点在于让人看清规划中真正发生物理错误的位置:第一帧与完成后的画面之间。

北京交通大学与字节跳动的联合团队于 2026 年 7 月 14 日发布了 UniVR 论文。截至 2026-07-15T19:38:04Z UTC,字节跳动的模型仓库还公开了规划检查点,分为 14 个 safetensors 分片,仓库存储量约 68.2 GB,采用 CC BY 4.0 许可。[1][3] 这项发布的轮廓格外清楚,也格外容易被解读过头。UniVR 同时是一套视觉轨迹生成器、一份训练方案和一组新的评估工具。它没有提供机器人能在物理世界中安全执行这些轨迹的证据。

沿着这条界线阅读这项发布,最能看清它的价值。UniVR 的核心进展,是把中间视觉状态变成可以推理、也可以批评的材料。它的主要局限也同样清楚:任务套件、模型训练以及大部分用于评分的自动评审工具,都出自同一个团队。[1][2]

这项发布改变了规划的基本单位

UniVR 以北京智源人工智能研究院的原生多模态模型 Emu3.5 为起点。Emu3.5 把图像 token 与文本 token 编码到同一条自回归序列中,从而能生成长度可变的序列,也省去了逐张图片交由独立渲染器处理的环节。[4] UniVR 在这个 34B 基座模型上微调,使它根据前序帧和指令预测下一个视觉状态。直观地说,模型学会了让画面随着过程继续发展。

这和常见的双模型流水线有所不同。语言模型可以先写出“抬起右袖,对齐袖口,向内折叠”,再由图像模型逐句渲染。这类系统能够产出流畅的指令和悦目的画面,帧与帧之间的关系却容易在交接中丢失。UniVR 把任务交给同一个模型,让它学习示范中看得见的转变:袖子原先在哪里、怎样移动,下一刻的画面应当呈现什么状态。[1][2]

这里的“视觉”并不等于彻底排除语言。每个标准化样本都包含查询图像、文字指令和视觉推理轨迹。整理数据时,研究人员还使用 Qwen3.5-397B 生成侧重推理的问题与文字答案、选择相关帧,并协助筛选材料。更严格地说,UniVR 在训练和推理时省去了用密集书面思维链逐项规定每次转变的要求;它的目标推理痕迹是一串图像。[1]

公开检查点让这一思路有了可以触及的实体。它源自 Emu3.5,在模型平台上被标注为图像到文本交互,并随附模型元数据、样例资产和权重,内容不只是一张发布宣传图。[3] 但真正有用的交互方式比通用聊天调用更为专门:评估者要检查生成状态能否组成可信的过程,终帧是否接近目标结果只是其中一项观察。

VR-X 把多种视觉任务归入同一种格式

这项发布的第二层是 VR-X,即团队新整理的训练与评估集合。作者从 16 个来源收集了 150 万份原始样本,覆盖第一视角示范、烹饪与手工视频、机器人操作、导航、编辑、视觉搜索、空间推理和谜题。经处理后,流水线保留了 310,000 个样本用于监督式冷启动训练,3,000 个用于强化学习,另有 1,800 个留出样本用于评估。[1][2]

把这些领域统一成查询—指令—轨迹格式,本身就是一项实质贡献。迷宫、绳结、机器人抓取和折好的毛巾,在外观、持续时间和物理规律上各不相同。若一个模型在所有任务上都取得改进,证据会更接近一种可迁移的视觉转移先验,单一任务模板记忆则不足以解释这一现象。

这套集合也带来了很强的评估依赖。团队通过场景采样、去重、模型辅助选帧和质量筛选,淘汰了接近 80% 的候选材料。专业标注人员整理了评估集,但这套基准仍是从与训练数据相同的 16 个来源中切出的留出部分。[1] 它适合作为第一轮测试,距离中立的最终考试仍有一段距离。后续更艰难的检验,应当使用由陌生摄像机、物体、任务措辞和物理布置组成的隐藏数据集。

巧妙之处在于奖励看向哪里

对于很长的视觉序列,单一全局分数很难成为有效的训练信号。即使终帧里衬衫已经整齐挂好,自动评审也会给出成功奖励,哪怕三帧之前衣架刚刚穿过布料。论文记录的正是这类失败:面对持续 30 秒以上的序列,全局奖励会偏爱终点的外观,漏掉短暂出现的违规状态。[1]

UniVR 的 步骤聚焦奖励(step-focal reward) 试图定位错误。强化学习期间,系统先生成若干候选轨迹,用 CLIP 嵌入每一帧,找出不同生成结果分歧最大的位置,再以最高方差点为中心选取一个四帧窗口。随后,Qwen3-VL-30B 评估器一面检查这段困难窗口,一面作出全局评估。当局部判断与全局判断相差过大时,组合奖励会惩罚这条轨迹。[1][2]

这种做法比让一个评审盯着整条胶片更有针对性。分歧会标出模型最不确定的位置,于是有限的评审能力可以集中到疑点最密集的断层处。它也有一个清楚的盲点:多次生成会以同一种方式犯下同一个错误。低方差无法证明物理过程正确。因此,步骤聚焦评分是一种有用的找错启发法;真正理解接触、力、物体恒存和时间因果的奖励模型,仍然承担着无法替代的工作。

算力规模同样体现了这项研究发布的分量,其部署成本远超轻量扩展。论文称,全参数监督训练和强化学习使用了 32 块 GPU,强化学习期间另有 8 块 GPU 为评估器服务。图像短边缩放至 512 像素,轨迹上限为 20,000 个 token;经过视觉 token 化后,每张图像约占 1,000–1,500 个 token。[1] 34B 检查点的规模小于用来比较的前沿系统,但很长的视觉序列依然代价高昂。

分数反映方向,不能直接迁移

在 VR-X 上,UniVR 的自动综合得分为 58.2,其 Emu3.5 基座为 39.8。作者使用的 GPT-5 加 GPT-image-1.5 流水线得到 63.5,Gemini 3 Pro 加 Nano Banana 2 得到 66.1。UniVR 表现最强的类别是机器人操作,得分 68.0,略高于论文所报 Gemini 流水线的 67.1。面对超过 60 秒的序列,UniVR 得到 45.6,Emu3.5 则为 21.7。[1][2]

这些数字确认了作者实验设置内所主张的差值:微调后的模型大幅超过基座,在最长时长区间,增益继续扩大。它们尚不能确立视觉规划器之间的普遍排序。

VR-X 的主要分数由 Qwen3.5-397B 给出,评审项目包括任务完成度、程序连贯性、视觉信息量和图像保真度。第二项指标则在 V-JEPA 的潜在空间中比较生成序列与参考序列,以近似衡量物理相似度。两个信号优于一个,但两者仍是代理指标。基于模型的评审会漏过外观可信、实际却无法成立的过程;表征指标可以判断两条序列在统计上接近,却证明不了动作在现实中确实奏效。[1]

各个比较系统也跨越了不同的模型组合与推理栈。Qwen、GPT 和 Gemini 语言模型分别搭配各自的图像生成器,UniVR 则采用统一的下一 token 模型。这正是研究问题的一部分,同时也限定了表格的含义:它衡量的是论文提示词和设置下的完整流水线,没有在同一套独立复现程序中比较可互换的检查点。排名适合作为测试 UniVR 的理由,不能直接作为采购结论。

开放发布仍留有复现缺口

公开页面上确有实质内容。字节跳动的模型平台托管了规划权重,注明以 Emu3.5 为基座、公开许可信息,并链接到论文、项目页、预定的代码仓库和 VR-X 数据集。[3] 项目页发布了方法、任务分类、主要结果和视觉样例。[2] 与封闭演示相比,这些材料更便于审视。

完整复现路径仍未打通。在本文记录的时间点,链接指向的 GitHub 代码端点返回 404,VR-X 数据集端点在未认证状态下返回 401,模型权重本身则可正常访问。这些 HTTP 状态在发布初期变化很快,但它们仍属于发布状态的一部分:“所有代码、数据和模型均已开源”目前还是作者作出的承诺,其中模型部分最容易核验。[1][2][3]

即使所有链接都能打开,复现所需的条件也远多于文件可用。外部团队需要已发布检查点的准确推理方案、长轨迹的内存和延迟测量、数据清单、评审提示词、采样设置,以及一套脱离专有基础设施也能重放评估的办法。当前发布已经开放到足以检查核心产物,但要复现每一个主要结果,流程中的摩擦尚未消失。

UniVR 改变了什么,下一步又是什么

若看长期,UniVR 的核心想法范围比“AI 能用图像思考”更小,也更耐久:它让规划的中间状态变得可见。由此,人们能更准确地追问物体是否消失、抓握姿态是否发生违反物理规律的变化、一步是否真的承接上一步,以及漂亮的结局是否遮住了一条断裂的路线。

要为这一思路补上更有力的证据,还需完成三项检验。第一,独立评估者应采用隐藏任务和人工逐步审查,尤其要寻找所有生成结果共同出现的错误。第二,完整的代码与数据流程应当开放,并附上可重复的运行时测量。第三,机器人团队应在闭环反馈、扰动和安全约束下测试生成轨迹能否改善一个独立控制器。成功动作的图像与动作本身之间仍隔着现实世界;每一帧之后,现实都会给出自己的裁决。

眼下,UniVR 更适合被视为一项严谨发布,它开放了一种新的推理表面。它没有证明视觉世界模型理解物理规律,却展示了如何让这些模型所设想的物理过程更多地暴露在审视之下,也显出了连贯分镜与可靠行为之间仍有多少工作。

来源

  1. Zhongwei Ren 等,《UniVR: Thinking in Visual Space for Unified Visual Reasoning》,arXiv:2607.12800(提交于 2026 年 7 月 14 日)——涵盖论文、训练方案、VR-X 整理过程、评估设置、结果、消融实验、实现细节与局限。
  2. 北京交通大学与字节跳动,《UniVR: Thinking in Visual Space for Unified Visual Reasoning》——官方项目页,含方法说明、任务分类、基准表格、视觉样例与产物链接。
  3. 字节跳动在 Hugging Face 发布的 UniVR-34B-Planning——官方公开模型仓库,含 CC BY 4.0 元数据、Emu3.5 继承关系、检查点文件、样例资产与相关发布产物链接。
  4. 北京智源人工智能研究院的 Emu3.5 GitHub 仓库——UniVR 基座模型的官方文档,涵盖统一图文 token 生成、公开权重与推理方式。
  5. Wikimedia Commons,“File:ByteDance Dazhongsi Plaza No. 2 (20240322133432).jpg”——N509FZ 于 2024 年 3 月 22 日拍摄的纪实照片,本文用作题图。