2025 世界人工智能大会的蓝色发布屏幕下，来自上海人工智能实验室、芯片企业和科研机构的代表站成一排。他们展示的系统名为 DeepLink。合作伙伴壁仞科技称，DeepLink 延续了上海此前的一套原型；该原型曾让一个千亿参数模型在四类加速器上连续训练 20 天。壁仞报告称，这套原型达到了同构加速器集群 90% 的效率。到了 WAIC，合作方又展示了一套跨域系统，目标是连接相距一千多公里的计算中心。[7] 合影带着典礼色彩，背后的工程难题却十分具体。

2026 年 3 月 9 日，上海人工智能实验室宣布，DeepLink 已从混合训练迈向混合推理。据发布材料介绍，新系统可以协同华为昇腾（Ascend）、沐曦（MetaX）、平头哥（T-Head）和壁仞（Biren）硬件，并把一次请求的不同部分分配给不同芯片。[1] 这项主张的分量超过宽泛的“国产芯片支持”。它所描述的是不同类型的加速器在同一条服务链路内协作。不同芯片各自托管一份相同模型副本，只能证明模型能够分别运行。

整套设计可以理解为四项契约。DLInfer 负责模型、服务框架与硬件之间的适配。DLSlime 在设备和服务之间搬运数据。DLRouter 把请求导向合适的后端。DLSolver 按设计要根据硬件测量、模型配置和服务目标，选择 prefill/decode 的部署组合。[1] 截至 2026 年 7 月 14 日，四层公开证据的充足程度相差悬殊。与醒目的百分比增幅相比，这种不对称更能说明 DeepLink 此次更新处在什么位置。

请求先拆分，集群后统筹

大模型推理包含性质不同的两个阶段。prefill 处理 prompt，并建立初始键值缓存；decode 在生成 token 的过程中反复读取这些状态。若两个阶段共用一个未分层的资源池，长 prompt 会与正在运行的 decode 争用资源，首 token 时延或 token 间输出节奏也会变得更难预测。prefill/decode 分离让运营方可以分别部署两个阶段，并独立调整各自的规模。[1]

DeepLink 把这种思路扩展到了不同加速器家族。发布材料描述了统一的推理中间件、低时延通信、智能流量路由和策略求解器。各款芯片可以保留自身特点，求解器的设计目标则是把服务中偏重计算或内存的部分，交给更适合相应任务的硬件。[1] 从理论上看，原本散落在不同集群里的闲置卡由此可以汇成一个可用资源池。

“异构”可以涵盖几种相去甚远的成果。一个模型可以分别在四类芯片上运行；两个芯片家族可以在同一项任务内通信；路由器也可以把完整请求送往彼此独立的同构资源池。更强的一种情形，是某种架构完成 prefill 后，将仍在使用的缓存状态交给另一种架构执行 decode。最后一种情形才足以证明混合芯片推理的最强形态。DeepLink 的公开说明指向了这套架构，但每次交接都需要一份可供检查的契约。

DLInfer 公开了兼容契约

DLInfer 最贴近模型。它在上层服务框架与厂商内核之间定义融合推理算子：eager 路线直接分发操作，graph 路线则把粒度更粗的操作下沉到厂商编译器。项目目前经由 LMDeploy 集成，并把组合状态明确分为已测试、不支持和未测试三类，兼容性由具体条目界定。[3]

这张矩阵格外有用。7 月 12 日的仓库快照列出了具体的模型家族、精度、执行模式和硬件，包括华为 Atlas A2、A3 和 300I Duo 系统、沐曦 MetaX C500，以及寒武纪（Cambricon）云端加速器。各行覆盖范围不同。部分 Qwen 与 InternLM 配置横跨多列，graph 模式、量化、多模态模型和多卡运行则保留了明确缺口。文档还暴露出一处尚未解决的矛盾：安装章节称 A3 只支持 eager 模式下的 Qwen 模型，矩阵却把多个 Llama 和 InternLM 条目标为支持 A3。因此，A3 对非 Qwen 模型的覆盖尚不足以视作可靠的公开承诺。pip 安装路线只覆盖部分昇腾系统，寒武纪的多卡启动目前还需要手动执行一个 Ray 步骤。[3]

这就是营销语言抹平棱角之前，真实可移植层的样子：一组范围有限、条件清楚的承诺。它也揭示了系统发布与公开适配记录之间的缺口。3 月发布时，混合推理所列芯片包括昇腾、沐曦、平头哥和壁仞；引用的 DLInfer 快照清楚记录的是昇腾、沐曦和寒武纪，两组名单存在差异。[1][3] 差异的来源尚未公开；不同代码分支、内部集成或针对特定部署的适配器都能解释这一点。在发布版支持矩阵与演示内容趋于一致之前，外部团队还无法仅凭公开仓库复现完整的硬件组合。

DeepLink 较早的文档说明，在这层推理软件出现之前，项目已经积累了大量标准化工作。引用的源码快照记载了至少 300 个标准算子接口、至少 11,000 个一致性测试用例，以及对至少七款芯片产品的训练支持。[2] 这些数字由项目方发布，但其方法已经清楚可见：可移植性来自这些标准和一致性测试的持续维护，更换设备目标名称只是表层动作。

DLSlime 让传输层显出轮廓

prefill 与 decode 分开后，状态也要随之移动。DLSlime 是这条链路上的通信运行时。公开设计以负责数据移动的 PeerAgent 和管理发现及协调元数据的 NanoCtrl 为中心，端点后端包括 RDMA、TCP、NVLink 与 Ascend Direct。应用可以直接使用端点，也可以加入对等端发现，或在其上搭建共享缓存、RPC 层等服务，各类流量可以采用各自适配的传输协议。[4]

这种模块化设计很重要，因为所谓的“一个集群”内部可以并存差异很大的连接方式。一对本地设备可以使用 NVLink；两台主机之间可以使用 RDMA；昇腾部署可以采用直连路线；能力较弱的链路则可回退到 TCP。回退后可用的特性以 TCP 支持范围为限，仓库也明确标注立即数操作只在 RDMA 上可用。NVLink 与 Ascend Direct 的构建开关默认关闭，面向 torch 后端构建时，沐曦支持也要另行启用。[4] 因此，通信契约在 API 层保持可移植，性能则随拓扑而变。

上海人工智能实验室报告称，DLSlime 在“核心场景”中取得了超过 97% 的带宽利用率。基准测试图表列出两种请求规格——8K 输入/2K 输出与30K 输入/2K 输出——并分别绘制两种规格下的首 token 时间和吞吐量。配套说明另称，在多模态生成和高并发智能服务任务中，与同构加速器方案相比，首 token 时间最高改善 34.5%。对于长输入、短输出的科研论文处理任务，实验室报告称，相比同构加速器 prefill/decode 基线，吞吐量提高 32%。图表将两项对比都设定为混合芯片 prefill/decode 分离方案与同构芯片类型 prefill/decode 分离方案之间的比较，测试平台则是实验室所称的千卡级推理集群。[1]

这些数字适合作为工程线索，适用范围仍停留在这组实验之内。发布材料没有披露模型、加速器的确切数量与组合、具体并发水平或请求分布、精度、网络拓扑、运行时版本、原始测量值、重复次数、方差及尾部结果；图表纵轴也没有数值。“最大值”也可以只是更大测试矩阵中的最佳单元格。上述百分比显示实验室运行的系统取得了颇具潜力的结果，却没有说明运营方在另一种负载或硬件组合下应当期待怎样的表现。

路由已经公开，部署策略仍以说明为主

DLRouter 是位于 LMDeploy、vLLM、SGLang 或 DLEngine 后端前方的一道 OpenAI 兼容网关。公开策略包括轮询、加权随机、一致性哈希、时延感知和前缀缓存感知路由。它可以注册节点、检查节点健康状态，并把 prefill/decode 流程交给选定的服务后端。[5]

限制条件与功能清单同样有参考价值。一个 DLRouter 进程在启动时只能配置一种后端类型；SGLang 的分离式路线采用静态发现；LMDeploy 的 prefill/decode 功能则依赖相应的运行时组件。在引用的 6 月 11 日快照中，包元数据声明版本为 0.1.0，仓库却还没有 Git tag 或正式 GitHub Release。[5] 这是可信的早期基础设施，与覆盖所有后端和拓扑的版本化兼容承诺仍有距离。

DLSolver 是决定性的第四层，因为它按设计要把测量数据转化为部署选择。发布材料称，它会读取加速器基准测试、模型配置和用户服务级目标，再选出 prefill/decode 组合。[1] 然而，引用的公开材料对求解器的介绍仍停留在产品级说明，没有披露目标函数、测量数据格式、再平衡频率或故障策略。这些细节决定了“最优”究竟指向最低首 token 时延、最高吞吐量、最低成本、最大可用容量，还是一套随队列变化的折中方案。

这组证据的分化让 DeepLink 有别于一项普通的开源发布。适配层、通信运行时和路由器都可供检查，只是成熟度各有差异。负责决定异构算力池如何使用的组件，公开信息最少。现有材料尚不能判断，这是否有意划开开放兼容体系与运营平台之间的界线。同时，完整的调度主张仍无法仅凭代码完成审计。

供应链价值来自选择余地，芯片可以保持差异

中国的加速器体系可以容纳各款芯片的性能差异。共同契约足够时，模型和服务团队便能跨供应商沿用整条链路。DeepLink 最有分量的思路，是保留硬件差异，并让这些差异进入调度。这样的资源池可以吸收现有卡资源，依据测量结果分配不同阶段，并在更换芯片组合时维持面向上层应用的 API。

代价是故障面随之扩大。风险包括模型正确性因后端而漂移，新的张量形状或精度暴露算子覆盖缺口，缓存传输抵消阶段分离带来的收益，以及路由器掌握的健康状态滞后于设备的真实状况。编译器、驱动、框架、模型和容器的版本演进节奏也可以彼此独立。按平稳流量优化的策略在突发高峰中存在选错方案的风险。每个抽象层减轻一项集成负担，同时增加一项需要版本管理、观测和测试的契约。

这项工作至少有一条机构化推进路线。2024 年 10 月，上海人工智能实验室与中国信息通信研究院针对芯片应用、大模型集群和异构训练池，启动 AISHPerf–DeepLink 联合测试。实验室称，DeepLink 已开展八轮评测，报告超过七十份，覆盖十余家国产芯片厂商，并计划按季度发布硬件报告。[6] 值得推进的下一步，是把同样的测试纪律贯穿混合推理全链路，覆盖范围也从单个设备扩展到端到端系统。

DeepLink 的目标还在扩展。混合推理公告发布 20 天后，新华社报道称，上海人工智能实验室已发布一套 DeepLink 平台，用于协同常规计算、超级计算与 AI 计算资源开展科研，并连接中国多地的主要计算中心。[8] 随着机构版图扩张，一份精确的公开契约也愈发重要。共享 DeepLink 名称的工作负载和中心越多，一次发布时公布的基准测试能够证明的范围就越有限。

以下四项披露可以把 3 月的结果转化为可长期验证的基础设施证据：

1. 同口径端到端基准测试：列明模型、请求分布、精度、加速器数量、网络、运行时版本、路由策略、基线和尾延迟，并将完整结果与峰值百分比增幅一并展示。
2. 一张版本化支持矩阵：把发布时提到的四个芯片家族，与已发布适配器、传输路线、服务后端、已测试模型和已知故障逐项对应。
3. 一份求解器契约：说明优化目标、输入测量、约束、回退行为，以及触发重新放置的条件。
4. 故障注入结果：展示设备池、链路、路由器或控制面服务失效时，排队中的请求和已经传输的缓存状态会如何变化。

证伪方式很实际。若计入缓存移动、尾延迟、故障和完整软件矩阵后，性能优势随之消失，DeepLink 仍会是一项出色的异构计算演示。若上述四项披露成为可以反复验证的发布物，它将代表一种更少见的成果：一套服务系统，把中国分散的加速器供给转化为运维层的选择，同时省去应用重写。

来源

1. 上海人工智能实验室，《从混训到混推，DeepLink 强化“人工智能+”异构算力底座》（2026 年 3 月 9 日）——系统发布、四个组件、所列芯片家族、prefill/decode 设计与项目方报告的性能。
2. DeepLink 官方文档源码在 commit f118ded 的快照——算子与编译器契约、一致性测试范围、模型覆盖和训练硬件支持主张。
3. DeepLink 官方 dlinfer 仓库在 2026 年 7 月 12 日的快照——架构、安装路线、经测试的模型与硬件矩阵、运行时例外及 v0.2.8 发布谱系。
4. DeepLink 官方 DLSlime 仓库在 2026 年 6 月 5 日的快照——PeerAgent 与 NanoCtrl 设计、传输后端、回退范围、缓存/RPC 服务，以及 0.1.22 代码与包版本；当时正式 GitHub Releases 列表止于 v0.1.11。
5. DeepLink 官方 DLRouter 仓库在 2026 年 6 月 11 日的快照——网关 API、路由策略、后端适配器、健康管理、prefill/decode 支持与现有局限。
6. 上海人工智能实验室，《AISHPerf–DeepLink 联合测试正式启动》（2024 年 10 月 17 日）——测试合作、DeepLink 2.0 范围、评估项目、厂商覆盖和报告周期。
7. 壁仞科技，《智能时代，芯耀未来｜壁仞科技亮相 WAIC 2025》（2025 年 10 月 16 日）——合作伙伴对 DeepLink 原型结果和跨域混训展示的记录，也是本文 WAIC 真实封面照片的来源页面。
8. 新华社，《上海人工智能实验室发布超智融合算力平台 打破科研算力“孤岛”》（2026 年 3 月 29 日）——DeepLink 向常规计算、超级计算与 AI 计算资源扩展的外部报道。