ai china

Qwen3 为转写稿添上时间刻度

6 条来源 2 条一手来源 已翻译 2026年11月5号

正在加载阅读与收藏统计…
正文

字幕有两种出错的方式:一种是把人名听错,另一种是人名写对了,显示出来时,说话的人却早已讲到了别处。两种错误各有各的修正办法。阿里巴巴发布的 Qwen3 语音模型让这一区别显得格外清楚:一个模型负责写出转写稿,另一个则为输入的文字标出它们在录音中的时间位置。[1][2]

仓库记录显示,Qwen3-ASR 的 0.6B 和 1.7B 参数语音识别模型,与 Qwen3-ForcedAligner-0.6B 一同于 2026 年 1 月 29 日发布;6 月 26 日的更新又加入了 Transformers 原生支持。将这些发布记录放在一起看,可以看到中国开放语音技术的一项实用进展:转写与时间定位可以分别处理,每一步都能单独检查。本文回看这些版本节点,梳理截至 2026 年 11 月 5 日可用的公开接口,所讨论的是此前已发布的模型。[1]

杭州阿里巴巴西溪园区的玻璃幕墙建筑,入口旁立着橙色阿里巴巴标识和奥运五环。
杭州阿里巴巴集团西溪园区,图片来自公司媒体图片库。Qwen 由阿里云开发。来源:www.alibabagroup.com。[1][6]

修订后的转写稿,可以再做一次对齐

对齐模型的接口里有一处实用细节:它的 align 方法接收音频、文本和语言。文本是输入项,录音里应当有哪些词语,已经有人作过判断。输出结果则为每个对齐单元标出开始时间和结束时间。[2]

设想一段采访的自动转写把嘉宾的姓氏弄错了。编辑听过录音、改正拼写后,就可以把修订稿交给模型对齐。为了获得这些词语的时间信息,识别模型再识别一遍的步骤就可以省下。这是从独立接口推导出的用法,文中并未将其作为已经报道的实际应用案例。

这种分工也说明了对齐模型的局限。若输入的转写稿有误,对齐模型给出的时间信息仍不足以让文字成为经过核实的证据。一组整齐的起止时间,无法判定说话者是否真的说出了输入的那个名字。核对识别内容与检查时间定位,始终是两项工作。

实现细节还给编辑工作留下一道工序。预处理会将汉字逐字拆开,并按语言选择切分 token 的方式,同时移除对齐单元中的大部分标点。因此,返回的单元还要重新对应到用于显示的转写稿上。[2] 应用若直接把这些单元拼成字幕,就有丢失标点、断行生硬的风险。对齐负责定位语音,字幕编排则决定读者在同一时刻看到哪些内容。

从识别转到对齐,语言列表也随之变化

模型卡列出的语音识别覆盖范围是 30 种语言和 22 种汉语方言。对齐模型公布的列表则包含 11 种语言,其中有普通话、粤语、英语、日语和韩语。泰语出现在识别列表中,对齐列表中没有泰语。[3]

相比宣传中更大的总数,这个差别更值得留意。对多语言档案库而言,“能转写这段录音”与“能为它生成受支持的词级时间信息”是两项不同的承诺。用户选择语言时,界面应当把这一区别保留下来。前一步成功识别了内容,后一步所用模型是否支持同样的材料,仍需另行核对。

时长也关系到两个环节如何衔接:模型卡称,对齐模型支持最长 5 分钟的语音片段。[3] 处理更长的录音时,编辑或应用需要确定分段规则,并将相对于各片段的时间换算回完整录音的时间轴。把一段两小时的采访分成便于处理的小段,算起来很简单;切在哪里才能保全词语和交谈上下文,则需要听辨或适当的音频处理。

时间定位实验究竟测了什么

1 月的技术报告介绍了一种在输入文本旁填入起止时间戳槽位的模型。模型同时预测这些槽位,采用 80 毫秒的时间网格。逐个生成转写 token 则属于另一类任务。[4]

报告采用的时间定位指标 Accumulated Average Shift(累积平均偏移),计算的是预测时间戳与参考时间戳之间绝对差值的平均数。表 9 中,人工标注的“Raw”条件下结果为 27.8 毫秒,“Raw-Noisy”条件下为 41.8 毫秒。这些数值来自作者对对齐模型的测试,适用范围止于该模型;完整字幕应用的表现仍需单独测量。报告还评估了机器标注材料和拼接而成的较长录音,比较结果时也应明确区分这些测试条件。[4]

当许多边界点靠近预测网格点时,平均误差可以小于时间网格的间隔。这个平均值只反映总体误差,无法代表每个边界点的精度,也不足以证明模型能分辨网格点之间的任意时刻。对编辑而言,更有分量的检验往往藏在难处理的片段里:开头音节被截掉、话语被打断,或人名夹在噪声之中。总体指标表现良好,也容得下个别明显的错误。

流式识别与云端转写各有规则

开源仓库的流式使用说明有一项影响很大的限制:流式模式使用 vLLM 后端,不返回时间戳。离线示例则可以加载独立的强制对齐模型,并设置 returntimestamps=True 来请求时间戳。[1] 实时转写稿即使很快出现在屏幕上,距离一条完成编排的字幕轨道仍有后续工序。

阿里云中文 API 参考文档介绍的是另一套接口。云端 qwen3-asr-flash-filetrans 服务的 enable_words 默认值为 false;开启后会请求更细的时间信息,同时将断句依据从单独使用语音活动检测,改为结合语音活动检测与标点。返回的词级时间戳以毫秒为单位。[5]

这些细节属于云端服务的接口约定,理解可下载模型时还要逐项核对。即使两种实现都冠以 Qwen 之名,也要分别核对它们的默认设置、语言覆盖范围和结果格式。中文文档的实用之处,正在于它明确写出了调用方实际需要处理的行为。

下一步值得期待的,是让复核更容易

从编辑复核的角度看,独立的对齐模型留出了有价值的介入环节。编辑可以先修订转写稿,再为修订后的文本标注时间,随后检查生成的字幕,也能避免把全部工作交给一个不透明的操作。

后续最有用的证据,是在完整录音上展示这一流程:人工修订后,时间定位表现如何;分段交界处的时间如何衔接;应用又如何标出值得重听的片段。框架的原生支持让开发者更容易用上模型。接下来衡量进展的尺度,是人们能多方便地找到并修复剩余的错误。

来源

  1. Qwen 团队,Qwen3-ASR 仓库——2026 年 1 月 29 日与 6 月 26 日的发布说明;离线时间戳示例及流式模式限制。访问日期:2026 年 11 月 5 日。
  2. Qwen 团队,qwen3forcedaligner.py——音频、文本和语言输入,token 预处理及结构化时间输出。访问日期:2026 年 11 月 5 日。
  3. Qwen 团队,Qwen3-ForcedAligner-0.6B 模型卡——识别与对齐的语言列表,以及 5 分钟的对齐时长范围。访问日期:2026 年 11 月 5 日。
  4. Qwen 团队,《Qwen3-ASR 技术报告》,第 1 版,2026 年 1 月 29 日——第 3、4.1、4.6 节;时间戳建模方式、指标定义及表 9。
  5. 阿里云,非实时语音识别(Qwen-ASR)API 参考,中文文档——异步文件转写、enable_words 及输出单位。访问日期:2026 年 11 月 5 日。
  6. 阿里巴巴集团,新闻与媒体资源:杭州西溪企业园区——园区照片来源。访问日期:2026 年 11 月 5 日。
Previous 一只陌生的猎蝽,改变了 AI 的评分规则

Recommended In ai china

Matched by subject and format