“多语种”是 AI 领域含义最宽泛、使用最灵活的标签之一。模型只要在一组资源充足的语言上表现良好，就能获此标签；整个书写系统却会在平均分中几乎隐身。传统蒙古文恰好把这处盲区显露出来：有的模型能够显示字符、识别少数熟悉模式，却仍写不出完整连贯的句子。

TM-Bench 让这类失效得以单独显现。它由内蒙古大学研究人员建立，相关论文已被 SIGIR 2026 以资源论文形式接收。其 18,357 个样本覆盖语言理解与生成两端的五类任务。作者报告称，大多数受测模型在理解任务上的表现大幅下降，只有少数模型略高于各任务对应的随机基线；模型生成的传统蒙古文则经常退化为语义不连贯甚至无法阅读的文本。[1][3]

相比排行榜，这项结果的诊断价值更高。TM-Bench 标明，宽泛的“多语种”说法在哪些地方已无法说明模型能力。与此同时，数据来源构成、单一方向的生成测试，以及尚不完整的公开评测工具链，也限定了这些发现能够支持的结论。

“多语种”里的盲区

传统蒙古文有自身独特的书写与排版规则。文字自上而下书写，各列从左向右排列。字母以连写形式相接；后缀与词的其余部分之间可插入窄不换行空格，这个空格仍属于该词，并会影响字形呈现。W3C 的排版要求分别规定了文本选择、标点、换行、控制字符，以及横排与竖排内容混排等事项。[5]

TM-Bench 的评测范围是 JSON 中存储的文本，浏览器排版另属一层。然而，书写系统在数字环境中的处理细节会直接影响评测输入是否有效。字符序列一旦显示错乱、采用不同的规范化方式，或在错误位置断开，输入本身已经发生变化，而模型的语义能力尚未开始受测。仓库还附有蒙古文字符编码与空格修正工具，用来处理这一层问题。[2] 要让排行榜经得住长期复核，码位、规范化规则、字体与渲染器设定都需与提示和答案一并保存。

第一项重要区别就在这里：机器可读与语言可用是两套标准。测试可以顺利解析，显示出来的文字仍然有误；模型可以输出符合 Unicode 规范的字符序列，句子仍然没有意义。评测应把这两类失败分开记录和观察。

九个文件，五类任务

本次发布包含九个数据集。其中八个衡量自然语言理解，任务包括主题分类、语义相似度、自然语言推理和多项选择问答；第九个 TM-CMMT 则收录 1,995 个中文到传统蒙古文的翻译样本。九个文件合计 18,357 条记录，与项目公布的总数一致。[2]

这些数据有意采用混合编制方式。各文件的比例有所不同，其中 48–60% 的样本来自翻译改编，10–20% 由专家原创，另有 30–37% 来自半自动合成。数据集还专门纳入草原生活、民间传说、历史、政策、民族地理、地方教材、传统医学、对话与文学等本土内容，以补充由通用基准翻译而来的样本。团队称，数据经过以蒙古语为母语的语言学专家多轮审校，标注者一致性指标 Cohen's κ 为 0.81。[1][2]

这种组合兼顾了规模与本土内容，也引出下一层核查问题。翻译改编便于扩大规模和跨语言比较，专家原创保留本地习语与知识，合成则扩大覆盖面。模型在三类来源上的表现需要分开观察。单一汇总分会把几种情况混在一起：模型真正掌握了传统蒙古文、利用了外来基准中易于识别的任务形式，或受益于翻译过程留下的痕迹。未来的结果表应按翻译改编、专家原创和合成样本分别报告成绩，同时保留按任务划分的结果。

识别与写作，失效方式不同

TM-Bench 的理解部分提出的都是范围明确的问题：选择主题、判断两段文字的语义是否相同、推断前提与假设之间的关系，或从简短列表中选出答案。“略高于随机”的具体含义随任务而变，因为标签分为两类、三类或四类时，随机命中率各不相同。比较时还需结合各任务的标签空间、提示格式和少样本设置。[2]

即便如此，总体结果仍很明确。在作者测试的 Llama、Qwen 和 Gemma 等代表性模型中，只有少数模型达到略高于随机的水平；作者摘要中特别提到 Gemma 3 27B 和 Qwen3 32B。这说明本次设置下存在巨大的能力缺口；结论只覆盖本次测试，模型在其他环境中的传统蒙古文能力仍需另行评估。[1][2][3]

生成任务中的问题暴露得更直接。在 TM-CMMT 上，作者同时采用自动指标和双盲人工评测，并报告出现了“语义崩塌”（semantic collapse）：输出失去连贯性，有时退化成无法阅读的字符串。[1][3] 分类成绩有时能靠词汇片段或选项设置维持，翻译则必须在完整序列中维持句法与意义。两类结果分开呈现，才能避免把尚可接受的选择题分数误读成写作能力。

证据范围同样重要。TM-CMMT 提供的生成证据仅来自一个数据集、一个受测方向和 1,995 个样本。它说明论文所测试的模型版本在中文到传统蒙古文生成上暴露出严重短板。对话、文学、摘要和反向翻译等用途仍需另行评测。

外部研究者目前能核验什么

公开资料让语料库真正可供查验。以本文于 2026 年 7 月 20 日 查看的仓库快照为准，外部研究者可以清点全部九个 JSON 文件，查看文件格式、字段与标签，阅读少样本提示，并检查字符修正代码。这些材料足以核对任务清单，也能复算 18,357 条样本这一总数。[2]

端到端复现论文比较所需的材料仍有缺口。README 承诺提供完整评测代码和基线结果文件；commit 027df4f 对应的文件树中尚无这些结果文件，也缺少完整的模型运行与评分工具。字符修正程序还引用了仓库快照中缺失的 Java 组件。[2] 论文发现和复现程度需要分开判断；在当前材料下，独立团队暂时无法准确判断模型能力、提示、解码、规范化、渲染和评分分别解释了多大比例的性能差距。

下一版若要强化复现能力，应固定受测模型版本、推理参数、提示、字体及规范化流程，公布逐项输出与母语专家审阅量表，并提供容器化评分程序。结果还应按样本来源分层，附上置信区间。这些细节会让 TM-Bench 从一次有价值的初步测量，发展成足以经受新模型与新文本处理环境检验的长期比较基准。

本土评测力量开始进入视野

TM-Bench 也扩展了观察中国 AI 的地理范围。内蒙古大学蒙古文智能信息处理国家地方联合工程研究中心于 2019 年获批，其公开研究方向包括蒙古语语音、语言数据软件、云服务与应用型信息处理。[4] 出自这套科研体系的基准吸收了许多本土知识。通用模型实验室单靠翻译后的网络文本，很难还原这些知识：哪些差异值得衡量、编码最容易在哪些环节出错、哪些文化领域应纳入测试，以及专家如何判断输出是否可读。

从长期影响看，这一点可以算作 TM-Bench 最经得起时间检验的贡献之一。它为模型在传统蒙古文上的失败单独留出位置，平均分再也遮不住这些问题。当前版本仍需补齐完整复现路径，生成结果也应始终限定在受测方向内。如今，这份成绩单已经成形，数据可供检查，母语专家的知识也已成为基准的内在组成。

来源

1. 内蒙古大学，《飞龙、王卫华研究团队两篇论文被 SIGIR 2026 录用》（中文一手公告；TM-Bench 的作者、机构归属、编制方法与主要研究发现）。
2. TM-Bench 作者，《TM-Bench: Benchmarking Large Language Models on Low-Resource Traditional Mongolian》（commit 027df4f 的公开仓库；数据文件、编制比例、提示、修正工具与当前公开资料范围）。
3. ACM SIGIR 2026，Conference Program（资源论文摘要、18,357 个样本的规模、评测方式，以及论文报告的理解与生成结果）。
4. 内蒙古大学计算机学院，《蒙古文智能信息处理国家地方联合工程研究中心》（2022 年 4 月 25 日；机构沿革与研究范围）。
5. 万维网联盟，Mongolian Layout Requirements（传统蒙古文的书写方向、连写、空格、字形呈现与数字排版要求）。
6. 蒙古国国家图书馆，《Mongolian written monuments held in foreign libraries, archives, and museums》（2021 年 11 月 17 日；档案背景与题图纪实照片的来源）。