上方照片对机器而言已经相当友好。西夏文字符整齐地排成竖列,墨色浓黑,大部分纸面也保存至今。然而,这两页对开手稿依然集中了历史文字识别不同于现代印刷文本阅读的难题:复杂字形排列紧密,若干字符外观相近,纸张磨损程度不一,而在辨认任何字形之前,还要先切分纸页版面。这份出土于黑水城的十二世纪西夏文音韵学手稿,既是文字图像,也是一件需要 OCR 系统转成可核查的学术录文初稿的实物文献。[7]
2026 年 8 月 24 日,中国教育部公布了 2025 年国家关键领域语言科技创新项目的 100 个入选案例。六天后,陕西师范大学历史文化学院发布消息,其 “智鉴西夏” 项目名列其中。对于一项持续近十年、研究西夏文献智能识别与翻译的计划而言,这是最新的机构性里程碑。[1][2]
“AI 已经破译一种失传文字”的说法偏离了这一应用的实际价值。专业学者早已能够阅读西夏文,识别分数也不能解释一份文献。真正发生的变化更加务实:面对拥有数千个复杂字符的文字,研究人员如今多了一条机器辅助的材料录入通道。系统可以给出录文初稿,学者或受过训练的学生将其与页面逐字比对、修正,再把核实后的文本送入检索、校勘与翻译环节。在这项应用中,校订从一开始便处于设计核心。
变化在哪里:识别系统走上学者书桌
陕西师范大学将张光伟主持的教育部基于深度学习的西夏文识别研究项目追溯至 2017 年。到 2018 年初,团队已经建成大规模标注数据集,并训练出专用识别模型。该校 2025 年 9 月的一篇专题报道介绍了一套人机协同平台:先由模型完成初步识别,研究者和学生随后集中处理校勘与修正。[3]
与单独一项实验室分数相比,这套先后次序更能说明应用价值。为字符图像返回标签的分类器只是一个部件。可用的录文流程还要先找到文本区域,分离文字栏和字形,维持结果与原始图像的对应关系,用标准编码表达候选字符,并让审阅者能够高效接受或修正结果。完成这些步骤之后,识别系统才会真正减少学者手头的机械工作。
2026 年 8 月的入选结果只确认了案例地位。上述各步骤的特定准确率,以及系统在各处西夏文献馆藏上的通用表现,都不在认证范围内。教育部公告记录的是项目申请、资格审查与公示之后的专家遴选案例,其中没有“智鉴西夏”的技术审计。[1] 公告确立的是项目身份变化:一条延续多年的高校研究脉络如今被列为国家级语言技术应用案例,研究身份也从会议实验向应用实例延伸。
94% 这个醒目数字有其适用范围
陕西师范大学 2025 年的报道写道,其专用模型识别准确率超过 94%,并将该模型置于“初步识别—人工校订”的流程中。[3] 这个结果令人鼓舞,但报道没有提供测试集划分、手稿构成、切分方案、计量单位或校订耗时分布。因此,应把它视为项目方提出的性能主张;面对一页陌生手稿,94% 无法直接换算成可供发表的成稿比例。
同行评议论文说明了这条适用范围为何重要。另一支西夏文识别团队在 2022 年发表于 IET Image Processing 的论文中,将张光伟等人的早期结果描述为:在一个取自佛教文献高频字、包含 1,000 个字符类别的数据集上,验证集准确率为 94.00%。计量单元是单个字符图像的分类结果,完整手稿页面未纳入这一数字。生僻字形、此前未见的书手笔迹、残损字符,以及切分页面字形时引入的错误,都落在该指标之外。[4]
即使字符识别分数很高,整页文本仍会带来持续的审阅工作。每一页都包含许多次分类机会,一个字符一旦被误识为形近字,就足以改动一个词,而错误结果仍容易被非专业读者信以为真。整页完全正确录文率、完全不用修改的页面比例,以及专家修订初稿所花的时间,与字符级 top-1 准确率回答的是不同问题。
这项结果本身仍有价值,前提是把它放在恰当的位置理解。字符准确率可以帮助团队判断识别器是否已经适合进入工作流程。随后还要用流程指标检验:它能否节省学术工作时间,同时让不确定之处保持可见。
长尾才是真正的文献
2022 年的研究把识别问题扩展到了更大的范围。其原始西夏文字符数据库包含 6,077 个字符类别、共 124,624 张标注图像。数据分布却高度不均:取自古代文献的 94,459 张图像只覆盖 2,110 个类别,现代印刷本提供的 30,165 张图像则覆盖全部 6,077 类。在原始类别中,4,088 类的样本少于 6 个,最大类别有 565 个样本。[4]
为了在这条长尾上训练,研究者加入 483,076 张增强图像,建成增强数据集,使每个类别达到 100 个样本。增强数据集按照 60/20/20 划为训练集、测试集和验证集;五层 TCRNet 在其中的测试集上取得 97.96%。另一项实验更能显出难度:用原始数据库训练的 TCRNet,在原始数据测试集上取得 89.06%,在包含 200 类相似字符的数据集上取得 85.04%,在包含 604 类复杂背景的数据集上取得 84.01%,在 367 类残缺或模糊字符上仅有 65.72%。这些数字来自北方民族大学牵头的团队、指定模型、经过整理的字符图像与明确数据集,不能与陕西师范大学后来公布的性能数字直接相比,也没有一项来自此前未见的完整页面。论文还注明研究数据未公开,外部团队因而无法直接复跑文中所述的数据划分。[4]
数据的构成解释了这些差距。合成均衡可以教模型认识原始数据集中只出现两次的某类字符,却无法制造墨迹剥落、纸张折痕、笔迹变化或相邻字符粘连的全部形态。论文提出的后续工作也包括增加手写本、活字印刷品和铭文材料,借助文本检测改善单字提取,并加强对模糊和残缺字形的处理。[4]
刘沛鑫 2025 年 12 月在中国社会科学院平台撰文,从人文学科一侧描述了同样的限制:西夏文献散藏各处,保存状况不一;这种文字有 6,000 多个字符和大量手写变体,真正经过标注的材料十分稀少。合成数据、迁移学习与少样本方法可以缓解短缺,存世文献本身的差异依然存在。[5]
实际工作中的启示很清楚:常见字符贡献识别分数,生僻、残损或依赖上下文的字符决定整理本的质量。
校订从一开始便写入系统架构
人工审阅早已出现在训练数据流程中。2022 年的团队用多个模型为尚未分类的字形提出标签,汇集各模型排名最高的候选项,再由研究人员核查,确认后才收入数据库。论文称,与其人工基线相比,这种多模型、多候选方法把标注时间缩短到约二十分之一,有效标签数量增至 10 倍。对于存疑标签,团队还安排多人复核,并与多个模型的预测相互参照。[4]
与“一键破译”按钮相比,这种循环更适合作为实际 OCR 的范本。机器缩小候选释读范围,审阅者查看证据,修正结果随后成为带有来源记录的新数据。陕西师范大学披露的流程在录文阶段采用了相同分工:AI 给出初稿,人员集中处理校勘和疑难释读。[3]
成熟的界面应当把这份协作约定清楚呈现。每个输出字符都应继续链接到精确对应的局部图像和页面坐标。低置信度结果应展示排序后的候选字符,避免系统在无提示的情况下强行给出单一答案。修订记录应保留最初建议、审阅者、日期与馆藏索书号。系统还应区分不可辨认的痕迹、明确判定没有字符的位置,以及已经识别但尚未翻译的字形。这些设计要求来自上述证据所指向的方向;公开报道尚未确认“智鉴西夏”已经包含这些功能。
因此,最有说明力的部署指标都与编辑工作有关:每页校订时间中位数、未改动字符比例、按载体与时期统计的错误率、生僻字符召回率、审阅者之间的分歧,以及以稳定标识符发布的核定页面数量。这些指标检验人机交接。若字符图像级识别准确率提升,校订速度和可追溯性却没有相应改善,这样的进展分量仍然有限。
识别打开文本,阅读尚未完成
西夏学研究通常用四行对译形式呈现文本:西夏文原文、拟音、对译(逐字对应的汉语文本)和意译(通顺的汉语译文)。OCR 可以提出第一行的候选文本,字典可以协助生成第二行。对译与意译要处理词汇、语法、文本和历史判断,而训练这些步骤所需的低资源平行语料依然有限。[5]
标准编码让第一次交接成为现实。Unicode 9.0 于 2016 年编码了 6,125 个西夏文表意字符与 755 个部件;后续工作又增补字符并修正字形表示。[6] 经核实的字形一旦有了码位,便可供检索、复制,也可以在不同传本之间比对,并与词典相连。编码属于基础设施,解释则另有一层工作。它为有争议的字符分配地址,却无法裁定一道污损笔画应归入哪个地址。
完整的研究链条因此长于“输入图像,输出译文”:
页面图像 → 区域与文字栏 → 字符候选 → 经校订的 Unicode 录文 → 词汇与文本校勘 → 拟音与汉语译文 → 历史论证。
每个箭头处都可以引入错误,而后续生成的流畅文字会掩盖前面的差错。机器生成的译文始终要与图像和已校订录文保持链接。证据链最严密的系统设计允许读者从一条流畅的汉语句子逐层回溯,查看词语对齐、选定的西夏文字符与手稿照片。
哪些证据能够证明这项应用可以规模化
“智鉴西夏”入选国家级案例时,项目已走到一个有可信依据、仍待全流程验证的中间阶段。技术探索已经跨过验证西夏文识别可行性的阶段,校方也描述了真实的人机协同录文环境。现有公开证据尚未展示从整页图像到学术整理本的全流程在不同文献收藏之间迁移时表现如何。[1][2][3]
三类公开材料可以填补其中大部分空白。第一,留出数据的页面级评测应分别评测雕版印刷、活字印刷、手写本、铭文、残损材料和未参与训练的馆藏,同时报告版面切分错误与字符错误。第二,工作流程研究应比较专家在采用机器初稿和完全人工录文两种条件下的耗时与错误类型。第三,在馆藏权利允许的范围内,一套带版本的样本语料库应同时发布图像、模型建议、修订记录和最终四行对译结果,让其他团队能够复现人机交接过程。
项目的成功可以建立在辅助释读之上。若系统能稳定地把数小时机械录字转成数量更少、清楚可见且便于核查的判断任务,它就会改变小规模专业学者群体能够处理的研究范围。更多文献可以进入检索;反复出现的字形可以跨馆藏比对;学生可以在校订真实材料的过程中学习,省下重复录入;专家也能把更多时间留给识别转化为历史论证的时刻。
页面仍属于学者。真正有用的机器把页面交还给学者时,繁琐劳动已经减少,不确定之处依然完整可见。
来源
- 中华人民共和国教育部,《2025 年国家关键领域语言科技创新项目案例名单公告》(2026 年 8 月 24 日;官方遴选流程与最终名单;中文)。
- 陕西师范大学历史文化学院,《我院“智鉴西夏”项目入选 2025 年国家关键领域语言科技创新项目案例》(2026 年 8 月 30 日;命名平台、入选情况与研究脉络的官方说明;中文)。
- 陕西师范大学,《AI 技术遇上西夏文,会擦出怎样的火花?》(2025 年 9 月 23 日;项目历程、识别性能主张与人机协同录文流程的一手说明;中文)。
- Jinlin Ma 等,《End-to-end Tangut character database building and recognition method》,IET Image Processing 16(2022),DOI 10.1049/ipr2.12471(数据集、划分、模型结果、标注循环与论文所述限制)。
- 刘沛鑫,《人工智能助力西夏文研究》,中国社会科学报/中国社会科学网(2025 年 12 月 24 日;关于 OCR、四行对译、语料库建设与低资源限制的学者论述;中文)。
- Andrew West、Viacheslav Zaytsev,《Tangut Character Additions and Glyph Corrections》,Unicode Technical Note #42,第 2 版(2019 年 12 月 21 日;Unicode 9.0 初始字符集及后续增补与修正)。
- Wikimedia Commons/俄罗斯科学院东方文献研究所,《Wuyin Qieyun A 05》(十二世纪西夏文音韵学手稿 《五音切韵》 两页的档案扫描件,公有领域图像)。