同一份文档,文字保持原样,处理起来却会大不相同。把一份版面规整的 PDF 打印出来,让纸张弯曲,再从斜角拍摄:段落依旧,页面的几何形态却更难分割成规整的矩形。对于先把页面切分为区域、再逐块识读的软件,这种差别足以影响哪些文字最终得以保留。
字节跳动的 Dolphin-v2 将阅读方式的选择纳入文档解析流程。2025 年 12 月 12 日发布的版本新增了对拍摄文档的支持,细化了元素检测,并加入专门的代码解析功能。裁切存在损伤原始信息的风险,新策略因此为拍摄页面保留完整视图。[1][4]
相比初代 Dolphin,变化在哪里
初代 Dolphin 于 2025 年 5 月发布,用同一个视觉语言模型分两步处理文档:先按阅读顺序识别页面元素,再按内容类型选用提示词,识读各个元素。表格与段落可以接收不同指令,同时并行识别。[1][2]
这种分工回应了两个实际问题。把多个专用模型组合起来,文档处理流程的协调就会更加复杂;让一个模型把整页内容生成为一条长序列,又容易拖慢速度、丢失结构。Dolphin 借助版面锚点组织各项独立的识读任务,再将结果重新组合。[2]
2025 年 10 月发布的 Dolphin-1.5 沿用了参数量约为 0.3B(3 亿)的小型架构。12 月的 v2 将任务范围扩展到 21 类元素、属性提取、代码和照片。[1] v2 的模型卡描述的是一个参数量为 3B(30 亿)的系统,针对数字文档和拍摄文档分别采用不同策略。[4] 这一轮修订同时涉及模型和解析方式,变化远超同一解析器上的一次分数更新。
同类内容,两种阅读方式
对于数字页面,v2 先预测版面元素和阅读顺序,再分别解析各个区域;对于拍摄页面,则识别整页。模型卡还区分了不同内容所需的输出格式:表格转为 HTML,公式转为 LaTeX,代码则保留缩进。[4]
这些区别直接影响内容的含义。一个词即使识别正确,放到错误的标题下面,仍会造成误导。一段代码即使字符全对,缩进一变,也会变成另一个程序。文档解析既要保留文字,也要保留文字之间的关系。
公开的演示代码让处理分支的选择过程清楚可查。在 demo_page.py 中,如果版面解析结果无法组成预期的列表,或预测框重叠过多,process_elements 函数就会回退到 distorted_page 分支。这个分支把完整图像传给后续步骤;常规元素则按预测坐标裁切。[5]
这一代码细节,为研究中的简洁描述补上了实际运行时的条件:当版面分析结果存疑时,整页处理也能充当补救分支。因此,有必要记录页面转入这一分支的原因;仅凭整页输出,还不足以认定系统已成功将输入归类为照片。
演示代码将表格、公式、代码和文本分组,分别送入对应的解析任务,同时开放元素处理的批量大小设置。[5] 对工程人员而言,这个版本的价值也在此显现:保留上下文与拆分任务之间的取舍,可以直接从实现中查看。
实验能够说明什么
2026 年 2 月报告中的 RealDoc-160 实验,直接检验了拍摄文档这一能力。作者将文档打印后用手机拍摄,制成 160 页测试材料,英文与中文各占一半。在这项内部评估中,平均编辑距离从初代 Dolphin 的 0.4363 降至 v2 的 0.0392;该指标越低越好。去掉文档类型分类步骤的消融实验,得分为 0.1871。[3]
消融实验支持在 v2 中保留按文档类型选择处理分支的做法。与初代 Dolphin 的比较,则难以将全部提升归因于这一分流策略,因为 v2 同时调整了模型与训练。两组比较所能说明的范围均有限,尚不足以证明系统在每一种收据、折叠表单或档案手稿上的表现。
论文承认了一种颇能说明问题的失败情况:轻度形变的照片有时会被归为数字页面,随后裁切便有丢失信息的风险。[3] 第一步决策,就能限制识别器后续所能看到的内容。
另一项评估考察通用文档解析能力。中文发布说明报告的 OmniDocBench v1.5 综合得分为 89.78,Dolphin-1.5 为 85.06。[1] OmniDocBench 自身的文档将文本、公式、表格和阅读顺序分开评估,采用结构化标注及不同指标。[6] 综合分数应结合这些分项一起解读;将其理解成大约每十份文档就有九份毫无差错,超出了指标本身的含义。这里引用的是报告中的解析成绩,关于某种具体部署的延迟,本文没有作出判断。
发布之后,接下来观察什么
从本文的分析看,Dolphin-v2 最有用的变化,是把解析早期的一项结构判断明确呈现出来。裁切边界可靠时,各区域并行处理能够提高效率;裁切范围有误时,完整页面视图则能保住原本会被舍弃的上下文。生产系统需要掌握这两种处理方式的实际表现。
下一步值得开展的测试,是将同一批文档分别制成规整的导出文件、平整页面的照片、弯曲页面和斜角照片。保持预期内容一致,记录所选的处理分支,在核查字符错误的同时检查遗漏和阅读顺序。这样便能分辨,提升来自更好的识别、更好的分流,还是两者兼有。
这一差别关系到中国持续扩展的文档 AI 技术体系,因为提取出的文字常常会成为另一个模型作答的依据。解析器若漏掉限定条件,或把数值与标签分开,流畅的下游回答也有掩盖这些损失的风险。保留原始图像及其与提取内容的对应关系,有助于追查这类错误。
Dolphin-v2 带来了一项值得具体检验的改进:解析器能够重新判断,一次需要看到多大范围的页面。下一步衡量进展,要看纸张离开基准测试、来到人们的相机镜头前时,这项判断是否依然可靠。
来源
- 字节跳动,Dolphin 中文 README;含注明日期的发布历史、v2 功能和 OmniDocBench v1.5 成绩,访问于 2026 年 10 月 21 日。
- Hao Feng 等,《Dolphin: Document Image Parsing via Heterogeneous Anchor Prompting》,Findings of ACL 2025;介绍初代先分析、再解析的设计。
- Hao Feng 等,《Dolphin-v2: Universal Document Parsing via Scalable Anchor Prompting》,arXiv 第 1 版,2026 年 2 月 5 日;介绍 RealDoc-160 的制作、对比实验、消融实验及局限。
- 字节跳动,Dolphin-v2 模型卡;介绍模型规模、按文档类型采用的解析方式,以及支持的输出格式。
- 字节跳动,Dolphin demopage.py;含 processelements、整页回退分支、元素裁切和批量处理代码,访问于 2026 年 10 月 21 日。
- OpenDataLab,OmniDocBench;介绍基准测试的范围、标注和评估指标。
- Matt Minor,《The Problem of Books》,纽约市档案与信息服务局,2022 年 10 月 14 日;俯拍相机照片的来源,图片署名为 Matt Minor 和纽约市档案馆。