ai china

天眸芯的快慢两路视觉,始于 AI 模型运行之前

6 条来源 4 条一手来源 已翻译 2026年9月28号

正在加载阅读与收藏统计…
正文
天眸芯传感器裸片的近景照片:裸片安装在绿色电路板上,下方是一块蓝色开发板。

清华大学 2024 年 5 月研究公告中的天眸芯硬件。裸露的传感器位于电路板上;照片由校方提供,已调整尺寸以便展示。[2]

汽车驶出隧道时,既要辨认道路,也要应对光线的骤变。两项要求同时到来,相机可以用不同方式记录所需的信息。清华大学团队与北京灵汐科技合作研发的天眸芯(Tianmouc),将这种分工直接放进了传感器。清华大学在 2024 年 5 月 30 日的公告中,将隧道出入口、突发危险和夜间闪光列为这项研究着重应对的问题。[2]

这项研究为观察中国的具身 AI 探索带来了一条清晰线索:机器要看见什么,在识别模型开始运行之前就已有了取舍。把原始论文、公开软件和后续学术质疑放在一起阅读,比单看发布时突出宣传的帧率更能说明问题。三者共同呈现了一次尝试:让视觉信息以适合不同任务的形式传递。

同一画面,两种描述方式

2024 年 5 月 29 日在线发表于《Nature》的论文介绍了两条互补通路:一条侧重识别所见内容,另一条侧重快速响应。混合像素阵列与读出架构配合完成这项分工。作者报告的指标包括最高 每秒 10,000 帧的感知速度、130 分贝的动态范围,以及自适应的 90% 带宽降幅。[1]

理解这些数字,需要同时了解它们对应的工作条件。项目的中文文档标注适用于 TianMouCV 0.4.2.0 版,本文查阅日期为 2026 年 9 月 28 日。文档列出的彩色图像流帧率为 每秒 30.3 帧,另一路差分数据流则最高可达每秒 10,000 帧。后者记录时间差分和空间差分,也就是随时间发生的变化,以及图像不同位置之间的差异。文档将两路数据分别存放在不同文件夹中,并提供了将它们配对读取的工具。[3]

据此再看最高帧率,它描述的是差分数据流的速度,完整彩色图像另有输出帧率。官方算法库的 README 进一步区分了 8-bit 精度下的 757 fps 和 2-bit 精度下的 10,000 fps 两种设置。差分测量的速度与精度,需要放在一起理解。[4]

以一个横穿道路的物体为例:细致的彩色信息有助于辨认它是什么,快速更新的变化信息则有助于跟踪它的运动。系统设计者可以按任务需要调用两路数据。这样的分工能否改善某项驾驶任务,仍取决于算法和测试条件。

软件让两路分工变得具体

TianMouCV 的公开库包含数据解码、图像处理、运动估计、灰度重建和神经网络示例。借助这些工具,格式较为陌生的传感器输出可以转成应用能够使用的信息。[4] 一种新的相机数据表示方式,也会给配套软件带来新的工作。团队在评估传感器时,需要处理各类输出与普通视频处理流程之间的差异。

最小 C++ SDK 清楚展示了这种实际差别。它的示例应用运行两条速率不同的可视化分支,分别显示彩色信息和差分信息。README 还记载了一项部署限制:在无法取得完整 SDK 源码的情况下,随附的共享库支持 x86,编译环境为 Ubuntu 24.04。[5]

从配套工具来看,这是一小步具体的进展:论文中的架构正转化为其他工程师可以查看和试用的接口。至于能否广泛移植到其他硬件,以及是否已有车队规模应用,这份演示尚未给出证据。它已经展示了集成实验需要做的事:取得两路数据,维持有意义的时序关系,并决定各路数据如何参与任务。

库中的重建工具还带出了另一项区分:重建图像是算法根据传感器数据生成的结果。[4] 因此,评估它时应考察整条处理链的输出。工程师排查障碍物漏检时,若同时保留原始测量数据和重建结果,就更容易查明信息在哪一步丢失。

已发表的质疑,改变了指标的解读方式

2025 年 6 月 4 日,《Nature》在 Matters Arising 栏目发表了 Minhao Yang 及其同事的评论。作者肯定了天眸芯的研制和演示工作,同时对其概念基础的新颖性,以及所声称的相对现有传感器的性能优势提出质疑。他们将混合式、多通路感知放回了已有的研究脉络中。[6]

这份批评应与原始结果一起阅读。130 分贝仍是天眸芯论文报告的指标;要据此判断与其他传感器相比的表现,测量定义和测试条件需要相互对齐。同样,讨论带宽节省,也需要明确参照对象、输出表示方式和精度。这些问题关乎如何解读证据,尚不足以据此宣告它全面领先或全面失败。

原始论文还报告了将天眸芯集成到自动驾驶系统中的实验,以及在复杂道路条件下的感知演示。[1] 这些实验从研究角度展示了设计的应用价值。至于车辆实际部署后,面对天气、交通和相机配置的变化,会以多高的频率漏检危险,仅凭这些实验仍难以确定。

接下来的进展应如何衡量

综合这些资料,天眸芯对视觉任务的明确分工,有望成为这项研究最持久的贡献。研究提出一种表示方式,软件将其开放给外界使用,学术质疑则促使研究者精确说明它的收益。每一步都让这项设想的不同部分有了接受检验的条件。

有说服力的应用结果,需要把这些部分连起来:使用了哪一路数据和哪种精度,完整系统需要多少数据与处理资源,以及相对合适的相机基准,任务表现是否有所改善。对于驾驶任务,报告内容除了有吸引力的示例图像,还应包括失败情况和响应时间。

由此观察中国 AI 硬件,可以得到一个具体启示:相机也在参与决定哪些证据会送达模型。天眸芯将这项选择清楚地呈现出来,让研究者得以检验:以不同速度感知不同信息,所得收益是否足以抵偿增加的复杂度。

来源

  1. Zheyu Yang 等,《A vision chip with complementary pathways for open-world sensing》,Nature,2024 年 5 月 29 日;传感器架构、论文报告的性能及自动驾驶感知演示。
  2. 清华大学精密仪器系研究公告,2024 年 5 月 30 日;项目、合作方、工作环境挑战及硬件原始照片的一手中文资料。
  3. TianMouCV 中文算法库文档,标注版本为 0.4.2.0;彩色与差分数据流、文件组织方式及配对数据读取工具,查阅于 2026 年 9 月 28 日。
  4. Tianmouc 官方 TianMouCV 代码库;V1 数据模态、速度与精度设置、重建功能及算法工具,查阅于 2026 年 9 月 28 日。
  5. Tianmouc 最小 C++ SDK 代码库;双数据流演示及使用预编译库时的限制,查阅于 2026 年 9 月 28 日。
  6. Minhao Yang 等,《Dynamic range and precision of hybrid vision sensors》,Nature,2025 年 6 月 4 日;对概念新颖性及相对性能优势主张提出质疑的已发表评论。
Previous WisePanda:为竹简残片缀合缩小搜寻范围 Next 中国月球撞击坑普查:让数据的不确定性清晰可见

Recommended In ai china

Matched by subject and format