金融文档送入系统时，形态常常偏离干净端正的 PDF：有人隔着桌面用手机拍摄，有张表被拆到两页，也有红色公司印章压在印刷文字上。上方那张摄于 2016 年的发票不属于 CFMME 样本，却直观展示了这类输入难题。[5] 模型在推理税务条款或股权关系图之前，得先判断页面朝向，再还原视觉结构。

CFMME 是阿里云 Qwen DianJin 团队推出的一套基准，于 2026 年 7 月发表于 ACL，它把这项处理次序呈现得格外清楚。得分最高的问答配置 Qwen3-VL-235B-A22B-Thinking 总分为 66.11。在包含 790 道题的应用问答集上，使用原始图像时得分为 54.94。将该题集的每张图像旋转 90 度，题目保持不变，得分便降至 41.27，下降 13.67 个百分点。旋转 180 度和 270 度时，得分分别为 43.29 和 43.04。[1]

这组结果的价值超出单纯的模型排名。它标出了金融知识介入之前已经产生的一笔视觉成本。另一项受控测试进一步印证了这一点：面对相同的表格问题，以无损 HTML 替代表格像素后，所有受测 Qwen3-VL 配置的得分都有提升。CFMME 的主要启示由此落在一项任务分解上：“金融推理”分数可以同时包裹三项工作——看清文档、重建文档，随后才是在文档之上推理。[1]

这套基准一层是课堂，一层是办公室

CFMME 包含 6,052 个实例，内容分成性质不同的两部分。由 2,818 个条目组成的知识评估取材于 43 本公开教材和 20 类中国职业资格考试，内含 562 道学科题与 2,256 道资格认证题，每道题都配有图像。大多数题目只使用一张图，另有 308 道使用多张图；560 道要求给出多个答案，甚至还有 238 道把部分选项做成图像，区别于常见的文字选项。[1]

另外 3,234 个应用条目更接近实际文档工作。其中包括 756 张印章检测图像、875 个信息抽取条目，印章、表格和公式三组识别任务，以及基于蜡烛图、统计图、表格、股权关系图等材料设置的 790 道问答题。材料来自年报、研究报告、发票、网站、申请材料、收据、票据、表单和银行卡图像。测试原样保留了模糊、倾斜、手写、水印、手机拍摄、表格线断裂以及印章覆盖其他文字等特征。[1]

部分材料源自更早的文档基准。CFMME 的印章识别子集取自 ICDAR 2023 ReST 竞赛；原始数据集含有 10,000 张真实印章图像，既评测图中印章标题文字区域的定位，也评测端到端的印章标题识读。[1][3] CFMME 对继承的数据重新标注，以完整转录印章内容为输出目标，任务要求由此发生了变化。[1] 表格集则纳入 TabRecSet，这套双语语料包含 38,177 张表格，覆盖扫描件与相机照片、规整与变形版式、试卷、发票以及其他“自然环境”材料。[1][4] 因此，CFMME 既包含新的标注工作，也从既有测试材料中选择性组装而成。复现实验需要掌握这些继承样本的具体身份与变换方式，最终总数本身还不够。

两项头条分数分属不同计量口径

论文重点展示了问答任务的 66.11，以及其余应用任务的 77.18。两者都落在 0 至 100 的区间，外观相近，实际对应不同口径。

66.11 属于 Qwen3-VL-235B-A22B 的 thinking 版本。论文计算该项总分时，取其 77.27 的知识准确率与 54.94 的应用问答准确率求平均，四舍五入后得到 66.11。完整知识评估另行报告了 77.88 的加权 F1，其中也包含有多个正确答案的题目，但这项指标没有计入平均值。这个汇总分横跨教材知识、资格考试题和以视觉材料为依据的职场推理，计算时只纳入两项准确率。[1]

表 4 及其图注把 77.18 归于模型的 instruct 非思考配置，并注明推理模型没有运行识别、检测和信息抽取任务。然而，第 4.2 节又把同一个 77.18 标为 Thinking。本文依照表格采用 instruct 标签，因为表中列出的五个分项数值正是平均值的计算依据，同时保留论文内部这一标签冲突。[1] 该平均值对五项指标赋予同等权重：印章文字的归一化编辑相似度、表格的树编辑相似度、公式的字符检测匹配、印章定位的平均精度均值，以及信息抽取的字段级 F1。这些指标奖励的输出形式各不相同，错误含义也有差异。这个平均值是一项紧凑指数，其计量口径有别于“一份金融文档得到正确处理的概率”。[1]

评测条件同样难以支持单一的横向排名。所有任务均采用零样本设置，每个任务组共用一条提示词，但作者依照各模型提供方的建议设置温度和采样参数。开放权重模型通过 vLLM 在八张 Nvidia A100 GPU 上本地运行，闭源模型则由 API 调用。三轮测试中，报告的标准差均低于 1.5 分，表明结果在这些设置下具有可重复性；API 快照、本地 checkpoint、思考模式和普通指令模式之间的差异仍然存在。[1]

旋转先改变输入，随后改变答案

在朝向实验中，研究者把应用问答集的全部 790 张图像分别旋转 90 度、180 度和 270 度，任务文本保持不变。每个受测 Qwen 模型在各个旋转条件下都下降了 10 个百分点以上。[1]

最大模型的数据很有代表性。原图得分 54.94，旋转 90 度后变为 41.27，旋转 180 度和 270 度后分别为 43.29 和 43.04。规模较小的 80 亿参数思考模型则从 44.22 降至 31.77、31.39 和 30.89。最差分数没有固定出现在 180 度，这提示“旋转”并不是一只平滑变化的难度旋钮；OCR 的朝向先验、页面版式，以及中文和数字文本的方向，在不同角度下会以不同方式相互作用。这项判断来自表格推断，论文没有把它作为独立机制加以验证。[1]

这项测试直接关系到部署。朝向处理本身就是受评系统的一部分，其作用超出表面上的图像整理。生产文档管线应当保留两项测量：一项是在朝向归一化页面上测试模型，用来揭示后续抽取和推理质量；另一项是在未经处理的采集图像上测试，用来揭示输入链路的可靠性。只报告第一项，会遮蔽实际运行中的故障；只报告第二项，则会把可以修正的采集问题计作推理缺陷。

倾斜、模糊、裁切和跨页表格也适用同一原则，但 CFMME 只针对旋转公布了配对干预实验。它的结果适用范围限于旋转，尚不构成各类文档损伤的通用鲁棒性分数。

HTML 显出了看清表格的成本

CFMME 的表格实验移除了另一层不确定性。在一组表格能够无损表示的应用题子集中，作者针对同一道题，分别提供表格图像或对应的 HTML 结构。大型思考模型使用像素时得分为 68.18，改用 HTML 后升至 78.03，提高 9.85 分。对应的非思考模型从 61.36 升至 75.76；小型思考模型则从 65.90 升至 76.51。论文没有报告这个无损表格子集含有多少道题，而且 HTML 分析和旋转分析都只覆盖四种 Qwen3-VL 配置，没有囊括各家提供方的完整模型阵容。[1]

作者把 HTML 表示描述为无损形式：它保留表格中的预定信息，同时明确标出行、列和单元格关系。因此，这是一项以理想结构化输入为参照的比较，与单纯估算感知错误的实验口径不同。将像素换成 HTML 时，tokenization、序列长度以及提示词与表格的交互方式也会随之改变。这个差值衡量的是该子集条件下的表示优势；单凭这一数值，无法把错误分别归入视觉、重建、算术、术语和推理环节。

不过，这项受控比较仍能引出一套配对管线测试。OCR 与版面还原环节若能生成忠实的 HTML，就有机会收回理想表示带来的部分优势。若该环节悄然把某个数值移入错误列，结构化文本又会让错误看起来更加可信。因此，严谨的评测应当单独衡量表格重建，并保留返回源像素的链接，以供审计。

印章识读与页面定位是两项不同能力

各项指标中，最深的低谷出现在印章定位。CFMME 要求模型针对 756 张文档图像同时返回边界框和类别，即公司印章或个人印章。其中 528 张图像同时含有两类印章，228 张只含一类。表中最高的平均精度均值是 37.45，由 GLM-4.5V 取得；Qwen3-VL-235B-A22B-Instruct 得分为 30.27。另有数个配置的得分低于一分。[1]

这些检测结果旁边，转录和抽取分数要高得多。同一个 Qwen instruct 模型在印章内容转录的归一化编辑相似度上取得 88.27，信息抽取 F1 达到 93.43。五项指标平均后的 77.18，很容易掩盖仅有 30.27 的定位成绩。[1]

两组结果彼此一致，因为转录一张已经给出的印章图像，与在杂乱页面上找齐所有印章，本来就是两项不同操作。ReST 将处理范围划在印章图像内部：一项任务定位标题文字区域，另一项端到端识读标题；数据包括圆形、椭圆形、矩形和三角形印章，包含弧形文字、背景干扰及文字与印刷内容重叠等情况。[3] CFMME 复用其中部分图像来识别完整印章内容，另行评测文档级印章框与类别。[1] 在金融工作流程中，文档级边界框位于前序环节。即使模型能出色转录一张已单独提供的印章图像，仍存在漏掉合同上第二枚印章，或把正确文字关联到错误目标的风险。

模型分歧帮助筛出难例

CFMME 把人工标注与模型辅助流程结合在一起。对于识别任务，内部版面模型先定位印章、表格和公式。Qwen3-VL-Plus 与 MinerU2.5 随后生成伪标签；二者给出的编辑距离出现分歧时，DianJin-OCR-R1 再补做一轮。由于分歧是难度信号，作者有意优先选择了部分高分歧样本，之后再交给人工核验。[1]

应用问答采用了相近流程。Qwen3-VL-Plus 为每张图像生成十道候选问题，人工专家从中筛选，也可以提高难度。随后，一名人类与一个视觉语言模型独立作答：答案一致时，由一名专家快速复核；答案有分歧时，则由三名专家深入审核。整套基准共有 20 名标注人员投入约 1,600 小时；负责审核资格认证题的专业人员均已通过相应考试。[1]

这种做法可以把有限的专家精力投向难点，同时也给评测带来明确的取样限制。题目难度部分取决于当代模型家族在哪些地方出现分歧。因此，这套基准很擅长找到当前的故障密集区，但它作为所有金融工作的总体抽样，中立性会弱一些。后续模型取得进步时，原因可以分为几类：它解决了这些难点；它的视觉预处理与标注模型相近；或是任务分布对它已不再陌生。按来源和构建方式分别报告结果，将有助于区分这些情况。

缺失的关键材料是样本清单

ACL 论文公布了提示词、模型配置、任务指标、汇总表和大量示例。伦理声明称，团队已取得纳入数据集的许可，数据不含敏感信息或个人身份信息，但没有详细说明这一认定背后的保障措施。[1] 论文还把读者引向 Qwen DianJin 官方仓库，仓库自身的说明则将评测列为“评测 → 数据合成 → 后训练”研究循环的第一阶段。[2]

截至 2026 年 9 月 11 日，论文尚未提供公开的 CFMME 数据集清单或专用评测包。[1] 在本文检查的仓库 commit 上，项目已经发布论文消息，但 CFMME 没有出现在开源项目表和源码树中。[2] 因此，外部研究者无法复现由 6,052 个条目组成的确切配比，也无法检查重复项处理，或核验图像变换与答案解析器。

两处很小的数量差异说明了样本清单的作用。CFMME 汇总表列出 213 个印章识别条目，正文却写着 206 张印章图像。表格识别实例列为 400 个，正文给出的一页与两页表格明细为 312 加 82，合计 394。现有材料留下了几种解释：图像与实例采用不同口径、筛选后有所增补，或单纯的抄录错误；论文没有作出调和。[1] 两处差异都不足以推翻实验结果，但公开的样本台账可以立即确定它们各自对应的情况。

最扎实的复现实验应当保留五类材料：

1. 固定的样本标识符、上游数据集引用、许可证，以及应用过的每一次裁切或旋转；
2. 确切的 checkpoint 或 API 快照、提示词、采样参数、输出解析器和拒答策略；
3. 原始采集图像、朝向归一化图像、无损表格结构，以及经核验转录后的金融推理等配对结果；
4. 分别衡量定位、识别、结构、抽取和推理，避免只给出混合平均值；以及
5. 按来源类型报告结果，包括报告、发票、手机照片、网站、考试和教材，让数量占优的格式无法遮蔽其他格式。

CFMME 最持久的贡献，在于其受控测试揭示出的处理次序。金融视觉模型的工作从页面开始，随后才进入金融推理：它要校正页面朝向，找到目标，再重建表格。证据横转之后，第一道任务便直接反映在分数上。

来源

1. Qian Chen 等，《Benchmarking Large Vision-Language Models on CFMME: A Comprehensive Chinese Financial Multimodal Evaluation Dataset》，ACL 2026（数据集构建、评测设置、结果、消融实验、伦理与局限）。
2. 阿里云 Qwen DianJin 团队，官方 qwen-dianjin 仓库，检查时的 commit 为 9a0d0b8（团队职责、“评测到训练”的研究循环及公开项目索引）。
3. Wenwen Yu 等，《ICDAR 2023 Competition on Reading the Seal Title》（ReST 任务定义、真实图像数据集构成及印章识读难点）。
4. Fan Yang 等，《A large-scale dataset for end-to-end table recognition in the wild》，Scientific Data 10, 110 (2023)（TabRecSet 来源、相机拍摄条件、标注及数据可用性）。
5. Kuruman，《China IMG 3185 (29736729955)》，Wikimedia Commons（2016 年照片、原始文件元数据及 CC BY 2.0 许可）。