一个坐标、一个店名、寻找椅子的请求、一段路线说明,以及一名穿蓝夹克的人,看上去分属不同的导航问题。ABot-N1 让它们经过同一道中间环节:机器人起步前,较慢的视觉语言模型会在相机画面里指出一个位置,较快的控制器随即追踪该点。
这次发布最值得关注的,正是这段短促交接。高德 CV Lab 于 2026 年 7 月 11 日发布 ABot-N1 技术报告,并在 7 月 14 日修订。该模型用一套架构覆盖点目标、兴趣点、物体目标、指令跟随和人员跟随五类导航任务。[1][2] 两套高德新基准上的成绩尤其醒目。不过,比排行榜更经得起时间检验的思路其实一目了然:语言与几何先在一个像素上会合,随后才转化为运动。
截至 2026-07-19T03:42:17Z UTC,公开材料包括技术报告、项目页面、三个基准数据集和一套可运行的评测工具包。ABot-N1 模型权重及其训练、推理管线仍未公开。[1][2][3][4][5] 因而,这次发布的测试部分格外便于检查,策略本体仍处于封闭状态。两项事实需要放在一起审视。
“窄腰”接口清晰可见
ABot-N1 把导航分成慢速系统和快速系统。在报告的主要架构中,慢速一侧采用 4B 参数的 Qwen-3.5 视觉语言模型。它接收左、前、右三路相机画面、一段简短视觉记忆、任务指令和上一次决策,输出自然语言推理轨迹,以及两类位于图像空间的锚点。[1]
可通行像素(affordance pixel)标出当前可以移动到的位置,大致对应下一块安全的地面、路面或路径。目标像素(target pixel)则在目的地进入视野后标出目的地本身,例如物体、店铺入口或被跟随的人。不同任务会选用其中一种或两种锚点。点目标指令可以只使用可通行像素;搜索物体时,系统先凭该像素探索,待物体出现后再加入目标像素。人员跟随任务中,两种像素可以重合在人体边界框底边的中心位置。[1][2]
在报告的主要配置中,快速一侧以 2B 参数的 Qwen-3.5 为骨干模型。它同时读取当前相机画面,以及慢速模型最近一次给出的文本、像素和参考图像,再预测 5 个连续的局部航点。每个航点都带有位置、朝向和完成标记。两个系统异步运行:计算开销较高的推理模型在考虑下一个子目标时,控制器会继续根据新画面追踪上一次缓存的像素。[1]
对于通用导航模型,这是一处实用的“窄腰”。它的上层输入可以不断变化,包括度量偏移、文字说明、物体类别、商户名称和人员外观;下层则可以一直按控制问题处理:让指定区域留在视野内,生成一段短路径,并判断何时停下。控制器每次更新电机指令时,可以省去重新辨认“兰州拉面店入口”含义的过程。推理模型已经把这层含义转成控制器看得见的位置。
像素能修正坐标,却不等同于地图
点目标任务最能说明这种中间表示为何重要。细节不足的地图或带有误差的定位,有时会让名义坐标落进车道、花坛,或障碍物后方。控制器若机械地照着偏移量前进,就有抵达数值坐标却未完成行程的风险。ABot-N1 会让慢速系统把目标重新落到当前画面中,再将可通行像素放在可行走区域内。机器人仍然知道总目标在哪里,每一步局部移动则与眼前可见的地面重新校准。[1]
兴趣点导航还带来一重语义陷阱。找到招牌,与找到招牌下方或旁边的门,是两个不同环节。报告的数据流程分别标注招牌框、入口框、落在入口上的目标像素,以及落在可达地面上的可通行像素。经过这一顺序,“前往这家商户”的任务最终落在最后一米的实体抵达上,图像检索命中只是前一道环节。[1]
这种交接方式也让故障更容易归类。推理文本认错店铺,说明语义阶段出了问题;店铺判断正确、像素却落在花槽上,说明空间定位出了问题;前两步都正确而航点在转角处抄近路,说明控制阶段出了问题。相较于让一个大型策略直接根据提示词生成运动,这条链路更容易读懂。
链路清晰,本身还不足以保证安全。单个像素没有深度、持续性或不确定性信息,既有被遮挡、投到反射面上的风险,也会随着人员移动和机器人转向而过时。ABot-N1 特意用带噪坐标、有误差的上游预测和模拟的异步延迟训练快速系统;人员跟随样本会抽取此前 0 至 4 步的慢速系统输出。[1] 这种训练正面处理了延迟,却无法给出绝对保证。可部署系统仍需显示缓存锚点的存续时长与置信度,并能判断何时停止追踪。
五项任务共用一套视觉语法
高德公布的预训练数据包含 3000 万个样本,来自 8,423 个 3D 场景,覆盖 14.7 平方公里和 482 公里的路径。[2] 各项任务的数据配方有所差异,却都在教授同一套语法:一条指令、一幅画面、下一块允许通行的区域、一个可选的最终目标,以及一小段运动序列。
这套共用语法,让跨任务迁移有了依据。物体目标数据能教会慢速系统判断指定物体何时真正进入视野;点目标数据让快速控制器反复练习追踪可通行像素;兴趣点数据把视觉识别和实体抵达拆成两个阶段。指令跟随加入了按顺序经过多个子目标的进度判断,人员跟随则加入一个会移动、也会消失的目标。[1]
此次发布还把强化学习用于慢速系统,将训练目标从语言流畅度延伸到控制用途。在论文的点目标训练阶段,奖励由输出格式有效性、跨相机画面的目标像素对齐,以及一个根据像素与不可通行区域距离计算的安全项共同组成。作者使用 50 万个点目标回合训练这一阶段;把目标奖励扩展到其他任务,则被列为后续工作。训练的目标是让推理模型给出的可见答案真正供下游控制器使用,读者觉得合理还不够。[1]
这些数据主张也有明确的适用范围。大量监督数据经过合成、筛选或重建,或由高德自己的数据引擎生成。规模有助于共用的交接方式逐渐显现,模拟环境与新城市里的杂物、眩光、人群、临时路障和含义模糊的入口之间,仍隔着现实距离。像素语法是一项假设,走出高德环境后的迁移表现才是检验。
边缘端机器人换用更小的一对模型
报告的实机部分更换了交接两端的模型,这一点进一步强化了相关论证。主要架构由 4B 慢速模型和 2B 快速模型组成;部署到高德 TuTu 四足机器人时,团队采用 2B 慢速模型,快速一侧则换成一个3.06 亿参数的扩散 Transformer,并由 DINOv2-Base 编码视觉观测。两个模型都运行在一台配有 64 GB 内存的 Jetson AGX Orin上,整体控制频率为 10 Hz。[1]
控制器骨干发生变化后,像素与文本的交接仍然成立。这一点比单个 checkpoint 有多大更为重要。只要慢速一侧能够传递落在图像上的子目标,快速一侧能够追踪它,实验室就可以按一种算力配置训练,再按另一种配置部署。
硬件说明也为结论划定了范围。论文将抽象策略限定在 RGB 导航上,其中没有全局度量地图、深度输入或语义分割。实体 TuTu 平台仍配备全向 LiDAR、RTK-GNSS、三台相机和一套集成式鸟瞰感知栈。[1] 因此,实机演示证明的是整套机器人系统能够运行,尚未把纯相机 checkpoint 从周边系统中剥离出来单独验证。这些演示可作为系统集成的定性证据,却还不能分辨 ABot-N1 与外围传感器和运动控制栈各自贡献了多少鲁棒性。
分两层看成绩
在已有的指令跟随评测上,团队报告 R2R-CE Val-Unseen 的成功率为 70.89%,RxR-CE Val-Unseen 为 73.85%。在重新整理的短程物体目标数据集上,成功率为 84.9%,高于早期 ABot-N0 系统的 73.2%。[1][6] 由于这些基准系列早在 N1 之前便已建立,这组比较更适合横向参照;论文具体如何重整数据和配置模型,仍会影响结果的解释。
看上去更大的数字来自高德新推出的评测套件。ABotN-PointBench 包含 31 个重建的真实场景和 465 个回合。报告中的室外成功率为 92.9%,室内为 95.4%。两者采用不同的碰撞规则:室外任务允许少于三次碰撞事件,室内任务则要求零碰撞。因此,两组数字分别对应不同口径,难度高低不能据此直接比较。[1][3][4]
ABotN-POIBench 覆盖 11 个商业区域、126,000 平方米和 163 个兴趣点。系统进入标注入口两米内即计为成功;ABot-N1 的成功率为 77.3%,团队评测中的 POINav 为 42.3%。[1][3][5] 这项基准与高德的实际业务领域联系紧密,因为它检验导航模型能否把一个商户名称转成正确的实体门口。
这也是一场高德自设的考试。场景、标注、指标、评测管线和受测模型均由高德制作。积极之处在于,数据集和评测器确实已经公开:外部团队只要按精简的智能体协议写出 reset() 和 predict(),就能重新运行闭环回合。[3][4][5] 相比再增加一张内部表格,独立结果更有分量,尤其要检验碰撞标签、入口框和重建场景是否天然偏向像素目标设计。
这次发布开放了什么,又保留了什么
ABot-N1 的公开范围分得很清楚。研究论证放在报告中,视觉演示放在项目页面上;点目标、兴趣点目标和短程物体目标基准数据均可下载,采用 Apache-2.0 许可证的评测器则包含渲染服务器代码、指标和自定义智能体封装。[1][2][3][4][5]
现有材料尚不足以复现策略本体。文中引用的仓库开放了考场,考生并未随之公开:截至文章时间戳,公开项目中没有 ABot-N1 权重、模型推理代码、训练代码或确切的边缘部署软件包。[3] 因而,几项最值得追问的运行问题仍然缺少审视条件——慢速系统多久刷新一次,延迟会怎样随场景复杂度变化,缓存像素何时遭到弃用,以及两个系统意见不一时控制器如何行动。
以下三项后续动作可以大幅增强这次发布:
- 公开报告配置与小型实机变体的模型和推理路径,并给出各子系统的实测更新率。
- 记录像素锚点的存续时长、置信度和替换事件,从感知与控制故障中分离出锚点过时造成的故障。
- 邀请外部团队在新建筑和街道上盲测复跑,其中招牌、入口、可通行区域和社会规则均由高德管线之外的人员标注。
仅靠指向地面,ABot-N1 仍未解决通用导航。它提出了一个让推理与运动相接的可见位置。其价值也来自可检验性:文本会出错,像素会过时,控制器也会错过目标。对于试图在不断变化的城市里寻找一扇门的机器人,从像素起步只是第一项主张,下一米才是证明。
来源
- Ruiyan Gong 等,《ABot-N1: Toward a General Visual Language Navigation Foundation Model》,arXiv:2607.10383v2(2026 年 7 月 14 日)——架构、训练方案、评测协议、结果与边缘部署。
- 阿里巴巴高德 CV Lab,“ABot-N1”——官方项目页面,包含五项任务的发布概览、数据总量、基准表格和实机部署演示。
- 阿里巴巴高德 CV Lab 的
ABot-Navigation,提交fd51063(2026 年 7 月 15 日)——已发布的基准工具包、渲染服务器、指标、智能体接口、文档与材料范围。 - 阿里巴巴高德 CV Lab,Hugging Face 上的
ABotN-PointBench——公开的点目标数据集,包含室内、室外 3DGS 场景和轨迹文件。 - 阿里巴巴高德 CV Lab,Hugging Face 上的
ABotN-POIBench——公开的兴趣点目标数据集,用于在重建商业区域中评测入口级导航。 - 阿里巴巴高德 CV Lab,《ABot-N0: Technical Report on the VLA Foundation Model for Versatile Embodied Navigation》,arXiv:2602.11598(2026 年 2 月)——作为主要 ABot 基线的上一代系统。
- 阿里巴巴高德 CV Lab 官方实验室简介——研究范围涵盖地图智能、自动驾驶、具身系统和世界建模。
- Wikimedia Commons,“File:South entrance of Amap headquarters (20230821154637).jpg”——N509FZ 拍摄的纪实照片,也是本文配图。