ai china

中国方言 AI 如今有了两支麦克风:田野与信息流

7 条来源 6 条一手来源 已翻译 2026年7月28号

正文
曹县方言田野调查中,连接着录音设备的一名女性正在讲话,研究人员操作音频接口和笔记本电脑。

2026 年 2 月,山东大学团队为一名曹县方言使用者录音。这套田野装置让说话者、房间、设备与研究人员一一可见;网络音频流程则需要依据元数据重建这些信息。[7]

如今,要把一种中国方言送入机器,已有两条截然不同的路。

一条路从房间里开始。研究人员挑选说话者,摆好麦克风,记下年龄与地点,请对方说词语或讲故事,随后复听,再把录音与说话者的背景信息一并保存。另一条路从信息流开始。软件寻找疑似含有方言的视频,把长音频切成话语片段,分离不同说话者,让多个识别模型分别转写,再交由另一个模型调和答案。

第一支麦克风留下的记录规模较小,来源脉络却清晰可读。第二支麦克风能够采集足以训练现代语音系统的材料。中国方言 AI 释放出的重要信号在于,两种方法都已达到足以发挥作用的规模,同时各自的长处仍无法消除另一方的弱点。

WenetSpeech-Chuan 把这种新格局呈现得格外清楚。该数据集由西北工业大学、北京 AISHELL、中国电信人工智能研究院(TeleAI)、南京大学和 WeNet 社区的研究人员发布,收录了被识别为四川话或川渝方言的语音,共 10,013 小时。团队还发布了处理流程、语音识别与语音合成模型,以及评测数据。[1][2] 对于一种常被通用普通话系统听成噪声、口音或转写错误的语言变体,这确实打开了一条新通道。

不过,这 10,013 小时的材料证据分量并不相同。音频大多取自短视频、娱乐和直播平台,多数转写文本属于项目中较弱的标签等级,大量标注也出自同类模型,而这批语料的目标正是改进此类模型。[1] 因而,这次发布带来两重结果:它扩充了训练材料,也带来了新的审计难题。

信息流补上了缺失的数量级

WenetSpeech-Chuan 出现之前,论文提到的两个公开四川话数据集分别只有 4.53 小时对话语音,以及 6.4 小时按脚本朗读的日常用句录音。KeSpeech 在 2021 年已经展示过另一条路线:它收录 1,542 小时录音,包含 27,237 名说话者,录音遍及 34 个中国城市,覆盖标准普通话及八种区域普通话变体。[1][4] WenetSpeech-Chuan 的作者有意与这项先例划开界线,把 KeSpeech 的西南地区样本归为带口音的普通话,不将其视作包含连续方言话语的语料库。

这一区别说明,WenetSpeech-Chuan 的意义远超一张更大的数据表。语音助手即使能识别带有地方语音特征的标准普通话,遇到本地词汇、话语助词、句法、语码转换,或始终不向标准语靠拢的说话者,仍会识别失败。方言系统需要自然发生的连续语段,让这些特征同时出现。

这样的语段来自开放网络。论文将语料中的 52.83% 归入短视频,20.08% 归入娱乐内容,18.35% 归入直播,三类来源合计占总时长的 91.26%。纪录片、有声书、访谈、新闻、朗读和戏剧只构成一条细长的尾部。[1] 自发语音往往伴随打断、表演、压缩失真、音乐、室内噪声和俚语;这些恰好是依赖洁净录音条件的模型常常应付不了的情形,因此具有训练价值。

这些来源也确定了语料库的重心。主要采自平台的一万小时音频,并非对四川和重庆人口所作的抽样调查;它调查的是已经公开、能够被搜索,也能引起注意并在网上流传的方言语音。热门创作者产出的音频,甚至会超过一个网络连接不足地区所产出的全部音频。即使总时长看上去相当庞大,年长说话者、家庭日常言谈,以及很少出现在网络媒体中的方言变体,仍会十分稀缺。

标签由一个模型委员会共同拼出

WenetSpeech-Chuan 明确将网络音频视为仍需加工的原料。它的 Chuan-Pipeline 先由人工检查候选来源,确认其中包含四川话语音;随后用语音活动检测把录音切成 5 至 25 秒的片段。Pyannote 分离单一说话者的区段,CAM++ 嵌入向量按说话者聚类语句,其他模型再估计性别、年龄段、情绪和音频质量。[1][2]

转写环节最能说明这套流程的特点。FireRed-ASR、SenseVoice-Small 和 TeleASR 各自生成一个候选结果,Qwen3 接收这些候选并执行生成式纠错,多个输出之间的一致程度随后计入置信度评分。论文报告称,在其测试材料上,这一流程的准确率比单个识别模型平均提高约 15%。[1]

这套办法把稀缺的人工转写转化为能够扩展的质量控制层,巧妙之处也正在这里;与此同时,“标签”一词需要谨慎理解。性别、年龄和情绪来自模型估计,并非经过核实的个人资料。高置信度转写体现的是处理流程所掌握的证据及其一致性规则,并不代表一万小时语音均由母语者逐行确认。若各识别模型都偏向标准普通话,或 Qwen3 把陌生的方言形式修整成概率更高的标准表达,同一项错误也会在高度一致中被标记为高置信度。

这次发布对上述不确定性作出了一项有价值的处理。置信度达到或超过 0.90 的“Strong Label”分区仅有 3,714 小时;其余 6,299 小时属于置信度在 0.60 至 0.90 之间的“Weak Label”数据,保留下来供半监督学习及相关用途使用。[1] 这一分法比总时长更有信息量,它提醒模型开发者把语料库当作按质量分级的材料储备,不能把全部转写视为同样洁净。

下一项值得开展的工作,是由母语者执行分层审计,分层依据包括置信度、来源领域、地点、年龄估计和语码转换比例。审计结果可以检验评分系统能否真正按照转写质量排序,也能看清高分是否只是因为模型委员会原本就容易对这些样本达成一致。

困难集说明为何不能只看时长

训练数据与评测数据在这里遵循不同规则。团队人工精修了一套 9.7 小时的语音识别基准,其中 8.55 小时是较容易的有声书与朗读材料,其余 1.15 小时构成困难分区,取自短视频、娱乐内容和戏剧。[1][2] 两者体量相差悬殊,这一点很重要。困难集很小,覆盖的却正是训练语料中占比最高的内容领域,其中的噪声、表演成分和非正式语言也更多。

已公布结果一致显示,困难集与容易集之间存在明显差距。Paraformer 在困难分区上的字错误率为 24.61%,容易分区则为 14.34%;使用 WenetSpeech-Chuan 微调后,两项数值分别降至 22.60%12.15%。Qwen2.5-Omni-3B 经过同类适配后,困难集上的字错误率从 26.01% 降至 24.14%。[1][2] 这些提升支持一项范围明确的结论:在这套评测中,语料库确实有助于相应的模型方案。困难集上居高不下的错误率传递出更有价值的田野信号:网络规模的方言数据仍未让网络语音变得容易。

这些数字应当始终与具体实验设置放在一起。它们是作者自建基准和相应模型变体上的字错误率,无法证明某款产品在呼叫中心、诊所、汽车或乡村访谈中也会有相同性能。论文中的表格也没有比较硬件、延迟或成本。数据消融实验给出了最有力的结果:方言专用训练改善了识别表现,声学与语言上的困难依旧存在。

语音合成方面的证据范围还要窄。已发表的听测研究覆盖 30 个生成样本,参与者包括十名四川话母语者和十名非专业听众;其中一个商业对照系统采用固定说话者,因此未计入说话者相似度评分。[1] 论文清楚披露了这些设置。它们展示了一个颇具前景的样例,但尚不足以证明不同年龄、地区或对话风格下都能达到自然效果。

开放是一条产物链,不是一个形容词

项目发布的内容不止一篇论文。代码仓库链接了训练与评测数据、ASR 与 TTS 模型、演示程序和流程代码。Hugging Face 上的训练材料标有 Apache 2.0 许可,并提供可下载文件。[2][3] 与仅由厂商控制的方言 API 相比,这些材料让外部检查和适配成为现实。

然而,截至 2026 年 7 月 28 日,WSC-Train 的数据集查看器仍无法生成完整预览,原因在于打包的 JSON 文件并未采用统一模式:部分记录给出来源级路径,另一部分则包含片段级转写、置信度、说话者、时间和副语言字段。[3] 这不表示音频缺失。使用者拿到这些公开材料后,仍需先弄清归档布局,无法直接载入一张规范化表格。

这处小小的整合故障指向了更大的供应链问题。要让语音语料库经久可用,就需要带版本的清单、稳定的数据模式、模型生成标签所采用的模型与提示词修订记录、删除与纠错程序,以及足以检验偏差又不会过度暴露说话者的来源元数据。缺少这些信息时,社区虽然能下载文件,却很难说明某个句子经过了哪些转换。

代表性问题同样如此。公开论文给出了丰富的内容领域和置信度汇总数据,却没有提供总体抽样框,也没有列出各地点的说话者分布。成都话是否压倒乡村变体,少数高产账号是否占据主体,年轻平台用户的语音是否挤占年长者的语音,单凭时长都无法回答。这些是下一版数据卡需要检验的实证问题,并不构成否定本次发布的理由。

田野麦克风保留了什么

中国较早建立的语言资源机构走的是另一条互补路线。四川省语言资源保护工程截至 2018 年底已完成 91 个项目。项目流程包括安排地方机构、招募说话者、培训田野团队,并要求按照统一规范记录语音、词汇、语法、音频和视频资料。[5] 一篇关于中国方言识别的综合综述也把录音设备、说话者信息、转写和标注设计视为语料库的组成部分,不将它们归作一般文书细节。[6]

这一传统仍在延续。2026 年 2 月,山东大学团队在曹县一座村庄设立临时录音点,抽样访问 18 至 80 岁的居民,使用标准化音频设备,初步建成包含 20 条录音的语料库。[7] 相关照片也说明田野数据为何始终有价值:谁在使用麦克风、说话者身处怎样的录音空间,都有据可查;研究人员还能直接追问某种说法为何发生变化,使解释同时建立在现场信息与波形之上。

田野调查本身无法自动保证代表性、中立性或零差错。只凭二十条经过细致引导的录音,无法像使用一万小时自发媒体语音那样训练模型。不过,田野采集可以主动寻找信息流遗漏的说话者和语言形式;母语协作者可以分辨罕见表达与错误转写;后来的研究人员也能知道材料当初为何被记录。

更有力的方言 AI 研究体系会把两支麦克风接在一起。网络音频提供广度和复杂的声学环境,田野调查覆盖不同地域与世代,母语者则复核这样一批样本:各模型的结论彼此一致,这种一致却最不可信。评测结果也应按来源领域和地点分别报告,避免把两项信息都藏进一个平均值。

WenetSpeech-Chuan 让这种混合模式更接近现实,因为它把四川话语音从小规模专项数据集转化成了可检查的训练层。规模之外,下一步要观察这些提升在以下条件下能否延续:音频来自本地采集,语码转换更复杂,说话者年龄更大且较少上网,模型也经过新一轮修订;整个过程还要避免方言在无声无息中被改写成标准普通话。

一种方言要经历两次才会被机器读懂:第一次是声音被录下,第二次是录音周围缺失的背景变得可以审计。

来源

  1. Yuhang Dai 等,《WenetSpeech-Chuan: A Large-Scale Sichuanese Corpus with Rich Annotation for Dialectal Speech Processing》,arXiv:2509.18004(2025 年 9 月 22 日提交)——语料库制作、分区、评测设置与模型结果。
  2. ASLP Lab,WenetSpeech-Chuan 官方代码仓库——项目材料、现行基准表、Chuan-Pipeline 说明、模型与数据集链接。
  3. ASLP Lab,Hugging Face 上的 WSC-Train——公开训练材料、Apache 2.0 标识、打包字段,以及截至 2026 年 7 月 28 日所检查的数据集查看器状态。
  4. Zhiyuan Tang 等,《KeSpeech: An Open Source Speech Dataset of Mandarin and Its Eight Subdialects》,NeurIPS Datasets and Benchmarks 2021——较早发布的多城市、多说话者及多区域普通话变体语料库。
  5. 四川省教育厅,《我省中国语言资源保护工程四川汉语方言调查 91 个项目全部完成》(2018 年 12 月 28 日,中文)——田野规范、参与机构、人员招募、录音与档案建设。
  6. Qian Li 等,《Chinese dialect speech recognition: a comprehensive survey》,Artificial Intelligence Review 57,2024——语料库设计、录音、标注与方言 ASR 证据综述。
  7. 山东大学文学院,《“曹声韵迹”调研团队赴曹县开展方言语音田野调查》(2026 年 2 月 22 日,中文)——田野调查方法及纪实照片来源。
Previous DeepSeek 开源了 3FS,快速通道仍从机房起步

Recommended In ai china

Matched by subject and format