如果只把 OpenMOSS 记成中国早期接近 ChatGPT 热潮的聊天机器人,它很容易被低估。放到 2026 年看,更有用的读法是:MOSS 这条线已经变成一个音频栈故事。它不再只是一个助手,而是一串公开组件,用来把声音转成 tokens,让语言模型在这些 tokens 上推理,再从另一端生成语音或口语对话。
截至 2026-06-30T20:33:54Z UTC,这组公开产物异常清晰。最早的 MOSS 仓库把自己描述为复旦大学开源的、带工具增强的对话语言模型,其中 moss-moon 家族围绕 16 billion 参数、双语聊天、插件使用,以及开放模型和数据发布展开。[1] 与此相比,较新的 MOSS-Audio 仓库描述的是 MOSI.AI、OpenMOSS 团队与上海人工智能实验室共同推出的开源音频理解模型,已经发布四个版本:4B 与 8B,每个规模各有 Instruct 和 Thinking 形态。[2]
这条变化就是档案里的核心信号。OpenMOSS 已经不再只是在证明一家中国实验室能够发布有能力的聊天模型。它正在争取一个接口层位置:语音代理、音频搜索、会议智能、配音、合成对话和多模态助手,都需要在这一层共享基础设施。
封面图是复旦大学光华楼的真实照片,不是生成模型输出,也不是概念化 AI 图。它把文章锚在 MOSS 背后的机构历史里,而后文分析的重心则落在后来的 OpenMOSS 音频栈。[8]
旧 MOSS 的线索是工具使用
最早的 MOSS 发布已经指向普通聊天机器人之外的东西。README 把 moss-moon-003-sft-plugin 描述为一个经过通用对话与约 300,000 轮插件增强多轮对话微调的模型,并列出搜索、文生图、计算器和方程求解工具作为示例能力。[1] 它还给出面向部署的量化通道,包括 INT4 与 INT8 版本;这一点重要,是因为项目试图让模型可检查、可运行,而不只是在演示里显得惊艳。[1]
这件事在 AI-China 里的启示,并不在于 MOSS 后来成了中国最占主导位置的助手。更关键的是,复旦的公开发布很早就把一个模式摆在台面上:模型、数据、推理、插件契约和社区打包必须一起流通。2023 年,这意味着一个带工具钩子的双语文本助手。到 2026 年,同一种本能出现在音频里。
因此,把较新的 OpenMOSS 材料作为一个家族来读,会更有意思。MOSS-Audio、MOSS-Audio-Tokenizer、MOSS-Speech、MOSS-TTS 和 MOSS-TTSD 不是可以互换的名称。它们把语音代理问题拆成几个分层:表示音频、理解音频、用音频说话、合成受控语音,以及处理长篇口语对话。[2][3][4][5][6][7]
tokenizer 是供应链层
最有战略分量的部分落在 MOSS-Audio-Tokenizer 上,重心不在最炫目的演示。2026 年 2 月的论文认为,离散音频 token 化是语言模型原生处理与生成音频的基础层,随后提出一个从头训练的、基于 Transformer 的因果音频 tokenizer。[4] 其中的数字锚点才是重点:1.6 billion tokenizer 参数、3 million hours 多样音频,以及横跨语音、声音和音乐的统一目标。[4]
这让 tokenizer 成为供应链组件。只要音频表示得粗糙,所有下游模型都会继承这种妥协:语音丢掉说话人的质感,音乐丢掉组织方式,环境声变成近似字幕的填充物,生成语音则依赖脆弱的 codec。tokenizer 越强,整套栈就越有空间把任务导向同一种表示,而不是拆成各自独立的语音、音乐、声音事件和 TTS 管线。
MOSS-TTS 技术报告把这种依赖关系写得很明确。报告称 MOSS-TTS 建在 MOSS-Audio-Tokenizer 之上,使用离散音频 tokens、自回归建模与预训练;它还描述了 tokenizer 怎样把 24 kHz 音频压缩到 12.5 fps,并保留统一的语义-声学表示。[6] 这并不能证明所有下游主张都已经成立,但足以看出 OpenMOSS 希望整套栈怎样组合:先有 tokenizer,再有生成模型,最后才是面向具体产品的控制表面。
MOSS-Audio 是理解通道
MOSS-Audio 是这套栈里负责“听”的一侧。2026 年 6 月的技术报告描述了一个用于语音、环境声和音乐理解的模型,任务包括音频字幕、带时间意识的问答、带时间戳转写,以及基于音频证据的推理。[3] 它的架构并不是简单地“把转写文本交给 LLM”。它使用音频编码器、模态适配器和语言模型解码器;编码器生成 12.5 Hz 的时间表示,时间标记则向音频 token 流注入明确的时间戳提示。[3]
这个差别对真实语音产品很重要。只看转写文本的助手能听到词,却经常丢掉事件发生时间、重叠声音、说话人语气、音乐质感、咳嗽、警报、背景信息和停顿。MOSS-Audio 的主张是,音频可以作为带时间定位的证据进入模型,而不只是在自动语音识别之后变成文本。[2][3]
README 展示出来的发布表面也很偏向实际使用。它点名四个公开版本,发布 Hugging Face 与 ModelScope 链接,还包含 LoRA 和全参数示例的微调文档。[2] 从这些公开材料推断,OpenMOSS 对 MOSS-Audio 的定位并非只供论文基准使用,而是希望开发者能在中国与全球模型分发渠道中改造它。
边界同样重要。仓库里的基准表可用于比较公开主张,但除非采用者复现同样的任务、音频分布、提示方式和运行设置,否则它更适合当作方向性材料。音频代理部署会在基准均值遮住的地方失效:嘈杂房间、方言迁移、语码转换、语音下方的音乐、麦克风压缩、隐私政策,以及流式负载下的延迟。
语音到语音是产品压力
MOSS-Speech 又把这条线往前推了一步,提出没有文本引导的直接语音到语音建模。[5] 论文前提很直接:级联系统先转写、再推理、再重新合成,但这条路径会丢掉副语言线索,并限制表达能力。它提出的模型试图直接理解和生成语音,同时借助层拆分与冻结预训练策略,保留来自预训练文本 LLM 的推理与知识。[5]
这正是整篇档案背后的产品压力。当每一句话都被悄悄压平为文本,再在后面重建,语音代理就没那么有说服力。客服助手、语言教师、会议伙伴或无障碍代理,都需要把语调、重音、轮次交接、打断、笑声、迟疑和说话人身份留在计算过程里。直接语音通道不会自动解决这些问题,但它准确点出了故障所在。[5]
MOSS-TTS 和 MOSS-TTSD 处理另一侧:生成。MOSS-TTS 报告把这一家族放在零样本语音克隆、时长控制、音素或拼音发音控制、语码转换,以及稳定长篇生成周围展开。[6] MOSS-TTSD 仓库随后把产品框架收窄到口语对话生成:长上下文建模、灵活说话人控制、多语言支持、零样本语音克隆,并支持 1 to 5 个说话人。[7] 它的发布说明还描述了 v1.0 里程碑,包含 60-minute 单会话上下文。[7]
这正是 OpenMOSS 应该进入 AI-China 信息流的原因,即便各个组件并不全是前沿体量模型。这套栈瞄准的是中国生态里的一个问题:怎样从文本优先助手转向语音原生工作流,同时避免每一层都依赖封闭的西方音频栈。
观察重点
积极信号会来自集成纪律。如果 MOSS-Audio-Tokenizer、MOSS-Audio、MOSS-Speech、MOSS-TTS 和 MOSS-TTSD 继续共享接口、模型卡、训练配方、微调路径和中国分发渠道,OpenMOSS 就能成为一套实用的音频底座,供那些需要可检查语音基础设施的开发者使用。[2][4][6][7]
负面信号会来自家族名扩张。如果每次发布都有自己的数据假设、延迟画像、安全边界、许可证摩擦和互不兼容的服务路径,那么“MOSS”就会变成标签,而不是平台。难点不在于再发布一个音频模型。难点在于让 tokenizer、理解模型、语音到语音模型和对话合成器像一套工程栈那样工作。
眼下更有用的读法是保持克制。评判 OpenMOSS 时,不能只看最早的 MOSS 聊天机器人是否赢下文本模型竞赛。它现在的重要性在于,它展示了一条中国研究与基础设施线正在围绕音频这一一等模态重新组织:tokens、时间、语音、声音、音乐、推理与对话,都必须在同一个系统里相遇。
来源
- OpenMOSS,
MOSSGitHub 仓库——最早的复旦大学开源、带工具增强的对话模型,含已发布模型版本、插件数据、量化通道与许可证说明。 - OpenMOSS,
MOSS-AudioGitHub 仓库——统一音频理解的公开 README,含四个 4B/8B 发布版本、模型分发链接、发布说明与微调表面。 - Yang Chen 等,《MOSS-Audio Technical Report》,arXiv:2606.01802,2026 年 6 月——架构、时间戳标记、音频-语言任务、已发布版本与评估框架。
- Yitian Gong 等,《MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models》,arXiv:2602.10934,2026 年 2 月——tokenizer 架构、1.6B 参数规模、训练数据规模与音频 token 接口主张。
- Xingjian Zhao 等,《MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance》,arXiv:2510.00499,2025 年 10 月——直接语音到语音架构、文本引导瓶颈与语音交互评估边界。
- Yitian Gong 等,《MOSS-TTS Technical Report》,arXiv:2603.18090,2026 年 3 月——MOSS-TTS 家族、对 MOSS-Audio-Tokenizer 的依赖、时长 / 发音控制、多语言 / 语码转换与长篇生成。
- OpenMOSS,
MOSS-TTSDGitHub 仓库——口语对话生成模型、多说话人控制、多语言支持、发布说明与长上下文对话生成主张。 - Wikimedia Commons,“File:Guanghua Tower of Fudan University.jpg”——本文封面真实照片的来源页。