ai china

MCHDoc 将书写表面纳入评分

6 条来源 5 条一手来源 已翻译 2026年7月28号

正文
两排用绳编联、写有文字的竹简,在长沙简牍博物馆隔着玻璃展出。

湖南长沙简牍博物馆陈列的竹简,Gary Todd 摄于 2010 年。这张背景照片未被标注为 MCHDoc 样本;它说明载体为何也是识读难题的一部分:模型接触语言以前,先要面对竹材纹理、简片之间的衔接与对齐、褪色和缺口。[6]

模型看到一个字以前,最先进入视野的是书写载体的表面。

在竹简上,墨迹顺着竹理延伸,一个句子还要跨过简片之间的物理间隙。在石面上,光线与侵蚀会让一道刻痕化作阴影。帛书留下的往往是细小而脆弱的残片;甲骨则带着裂纹、已经消亡的字形,以及无法套用后世印刷字体规律的形态。把这一切统称为“中国 OCR”,会遮住整条流程中的第一个失效点。

东南大学与南京大学推出的基准 MCHDoc 发表于 CVPR 2026。它让这种材质差异有了可测量的尺度,将六种历史载体上的 15,724 幅文档图像 纳入同一项评测,要求模型识别文字,再分别在有无外部文本参照的条件下校正存疑的读法。[1] 它最有力的结果落在排名的变化上:任何看似领先的模型,其优势都会随书写载体变化而失去稳定性。

截至 2026-07-28T21:39:05Z UTC,这一发现已有公开材料可供查阅,复现所需的条件仍不齐全。论文与补充材料均已公开,但论文所列的代码仓库里只有一份简短的 README 和一份 MIT 许可证,承诺发布的基准数据与评测代码尚未出现。[1][2] 因此,MCHDoc 已经给出一套有价值的评测设计,数据与代码的发布缺口仍然严重。

六种载体,各有不同的历史文献形态

MCHDoc 覆盖的年代从 公元前 16 世纪延伸至公元 20 世纪。这份清单刻意保留了数量上的不均衡:麻纸古籍页面 3,000 幅,竹简或木简图像 3,000 幅,宣纸书法图像 3,192 幅,碑刻图像 5,152 幅,帛书单字图像 881 幅,甲骨单字图像 499 幅。[1] 前四组共提供 14,344 幅页面级图像;帛书与甲骨则提供 1,380 幅单字裁剪图。补充材料称,版权限制使后两种载体未能采用页面级图像。[1] 这种数量差异来自各个源数据集,也让“每种载体都对应同一种工作单元”的整齐假设无法成立。

基准中的大部分材料汇集自既有数据集。古籍页面来自 M5HisDoc,简牍来自 DeepJiandu,书法来自 CalliBench,帛书来自 Wa-net,甲骨材料来自 OBI-Bench。研究团队另行加入了博物馆来源的碑刻图像,并称这些图像由受过训练的标注人员转录;遇到存疑读法时,标注人员会查对金石学资料,再交由第三方裁定。[1]

这些源数据集背后都有各自的学术工作。DeepJiandu 项目介绍了简牍学、古文字学与计算机科学专家之间的合作,并安排了至少两轮专家复核。[3] OBI-Bench 则收录 5,523 幅图像,涵盖识别、缀合、分类、检索与释读任务;MCHDoc 只取其中一小部分甲骨材料,用于跨载体识读测试。[4] M5HisDoc 的设计覆盖多种版式、文献类型、书法风格、背景与劣化难题。[5]

这条数据谱系很重要。“六种载体”背后是一组来源各异的数据集联合体,各自的采集方式、标注历史、任务单位与长尾分布均有差别。基准得分可以在这个联合体内部比较模型,这些差别仍会留在结果之中。

评测究竟要求模型做什么

MCHDoc 设定了四项任务,用来模拟一套简化的专家工作流程。[1]

第一项是页面级识别,要求视觉语言模型返回一整幅古籍、简牍、书法或碑刻图像中的文字。第二项是字符级识别,单独考察视觉解码能力。帛书与甲骨只出现在字符任务中;对于其余四种载体,作者选取页面级 1-NED 得分低于 15% 的页面,将单字裁出,再从每种载体中抽样 500 个。

这条抽样规则直接影响读表方式。字符表有意偏向页面级载体中的困难样本,表中结果无法估计各个完整数据集随机抽取一个字符时的正确识读频率。

第三项是 LLM 后纠错:把 Doubao-Seed-1.6-VL 的识别结果交给语言模型,只凭模型内部知识修订文本。第四项是基于知识的后纠错:在此基础上加入从殆知阁材料建立的语料库检索。该语料库包含近 16,000 部古籍、超过 17 亿字,并切分成可供搜索的文本块。[1]

论文评测了 20 多个在 2025 年 10 月 1 日以前发布的开源与闭源模型。报告指标包括 accurate rate(准确率)、correct rate(正确率)和一减归一化编辑距离;整体占比低于 3% 的缺失输出均按失败计分。[1] 这种计分方式较为严格,不过论文把模型局限、网络故障与 API 安全拒答都归入同一种零分,也没有给出按载体和模型交叉拆分的统计。这些细节限定了结论的适用范围。MCHDoc 发表于 2026 年,但表格记录的是 2025 年 10 月以前各模型家族在作者提示词与 API 条件下的快照,时间范围止于 2025 年 10 月,无法充当 2026 年 7 月的前沿排行榜。

载体一换,胜者随之更替

有一行结果格外清楚地显出 MCHDoc 的核心观点。Doubao-Seed-1.6-VL 的页面级 1-NED 得分在古籍上为 56.52,在简牍上为 18.82,在书法上为 49.81,在碑刻上为 65.90。[1] 这样的差距远超轻微的领域波动。同一款模型在同一指标下,得分会随着材质、版式、文字密度与源数据集的变化横跨 47 分。

字符测试更加严苛。Qwen-VL-Max 是主论文字符表中总体成绩最好的模型,古籍单字准确率达到 67.6%,书法达到 54.8%,简牍却只有 13.0%,帛书为 4.9%,甲骨为 4.0%。[1] 补充材料还加入了 Qwen3-VL 的运行结果,因此这行数据适合用来说明载体差距,不能作为最终排名。若采购团队只留下“总体最佳”四个字,也会丢掉收藏早期文献或出土文献的机构最需要的信息。

规模与得分之间也没有清晰的单向关系。Qwen2.5-VL-3B 经过监督式微调后,页面级成绩已接近最强结果,尽管其参数量小得多。在困难字符子集上,一个通过 LoRA 适配的十亿参数 InternVL3.5 模型,在数种载体上足以比肩甚至超过大得多的通用模型。[1] 在这些测试和载体条件下,载体专用训练数据对结果的影响可以比肩参数规模。若把结论扩展为“小型适配模型已经解决历史文献识读”,这些结果尚未给出依据。

证据在环节交接中完整保留,纠错才有效

后纠错实验给智能体系统开发者带来了论文中最实用的一则警示。实验覆盖四种页面级载体,并以单一识别器 Doubao-Seed-1.6-VL 产生的错误输出为前提。[1] 让 LLM 只凭内部知识“修正”历史文本,通常无助于改善结果,还经常让转录变得更差。模型面对的任务远超过修补熟悉的错字:它需要从带噪序列中推断原文,其中有时还夹杂消亡字形、残缺笔画、少见专名,或已经脱离整篇碑文的碎片。

外部检索改变了纠错的方式。有了殆知阁段落作为参照,数个模型在古籍与书法上均有提升。例如,推理模式下的 Gemini-2.5-Flash 将古籍 1-NED 从识别器的 56.52 提高到 65.64,书法则从 49.81 提高到 62.16。推理模式下的 DeepSeek-V3.1 在书法上达到 72.92。[1]

外部检索也未能挽救所有载体的识别结果。简牍识别的初始噪声过大,文本数据库很难可靠定位正确段落。碑刻裁剪图有时只保留长碑中的几个字,搜索查询过短或歧义过多。对于这些材料,一份读来流畅的校正结果会比明显的 OCR 错误更加危险,因为它用貌似可信的文句覆盖了肉眼可见的不确定性。

这项 RAG 结果的适用范围仍是封闭参照池。补充材料描述了一个规模较小的 MCHDoc 参照池,其中候选段落与评测材料相对应;内容近乎空白的代码仓库则没有说明底层殆知阁语料采用哪个版本、依据何种许可证。[1][2] 已报告的增益说明了有依据的纠错在精心整理的参照环境中能取得怎样的效果,却无法证明任意馆藏也会获得同等提升。

产品层面的启示落在证据链的保存上,远比一句“加入 RAG”更具体:保留原始图像、未经修改的转录、检索到的段落与建议改动;证据无法相互印证时,流程还要允许暂不校正并沿用原始转录。只有检索先给出值得推敲的材料,推理在这里才会真正发挥作用。

公开材料尚未齐全,结论仍受限制

在提交 ca8eee0c 对应的快照中,MCHDoc 公共代码仓库只有两个文件和两次提交,其中没有数据、数据划分清单、推理工具、评分脚本、提示词或逐样本输出。[2] CVPR 论文称数据集“will be released”(将会发布)。补充材料描述了一套包含 10,000 个页面和 6,134 个单字样本的训练集,却没有说明这些材料如何与评测集保持分离。在相关材料发布以前,外部研究者无法核验样本归属、复现抽样规则、检查潜在的训练—测试泄漏、重新运行模型,也无法审计各载体专用的预处理是否改变排名。[1][2]

“high-resolution documents”(高分辨率文档)这一说法也要和混合任务设计放在一起理解。古籍页面的平均尺寸为 2,327 × 2,039 像素,帛书和甲骨条目则是单字裁剪图,平均尺寸分别只有 114 × 162 和 77 × 135 像素。[1] 它们都是有效的研究材料,样本粒度却有根本差异。用一个汇总得分覆盖全部材料,会把整页识读与裁剪字形分类混在一起,继而把覆盖范围误当成可比性。

可供长期复核的公开材料应当包括不可变的数据划分与校验和、每个组成部分的来源及复用元数据、精确的预处理方法与提示词、锁定版本的模型输出,以及按载体、任务和源数据集分别报告的得分。真正的泛化测试还可以再向前一步:在五种载体上适配模型,把第六种完整留作测试。由此可以分辨模型学到的是历史文本识读能力,还是它已经见过的那些数据集的视觉习惯。

MCHDoc 的标题承诺了一套综合基准。现有论文已经兑现了其中的多载体部分:评价历史中文文献 AI 时,纸张、竹木、石材、丝帛、骨质、光线、损伤与标注惯例都要进入视野。等到相关材料真正发布,其他团队也能独立复现并检验得分如何变化时,“综合”二字才会获得完整分量。

来源

  1. Yijun Sheng 等,《MCHDoc: A Comprehensive Benchmark for Reading Multi-Carrier Chinese Historical Documents》,CVPR 2026 论文集(官方论文页面含论文与补充材料;数据集构成、评测流程、指标、结果与局限)。
  2. MCHDoc 作者,提交 ca8eee0c 对应的公共代码仓库(成果快照查阅于 2026 年 7 月 28 日;README、许可证与当前发布范围)。
  3. 西北师范大学简牍研究院,《“DeepJiandu”简牍文字数据集正式上线》(关于材料收集、多学科标注、专家复核与发布的中文一手资料)。
  4. Zijian Chen 等,《OBI-Bench: Can LMMs Aid in Study of Ancient Script on Oracle Bones?》,ICLR 2025(官方论文集页面;源基准的规模、任务与评测范围)。
  5. Yongxin Shi 等,《M5HisDoc: A Large-scale Multi-style Chinese Historical Document Analysis Benchmark》,NeurIPS 2023 Datasets and Benchmarks Track(官方论文集页面;古籍源基准与多类变化因素)。
  6. Gary Todd,《Bamboo Slips (10114281006)》,Wikimedia Commons(本文所用 2010 年长沙简牍博物馆实景照片的来源页面)。
Previous 中国方言 AI 如今有了两支麦克风:田野与信息流

Recommended In ai china

Matched by subject and format