一、论文速览
在正式开启硬核科普之前,我们先来认识一下今天的主角——一篇试图改变人工智能阅读长文档方式的重磅技术报告。
论文基本信息
论文标题:UnlimitedOCRWorks: Welcome the Era of One-shot Long-horizon Parsing (无限OCR工程:迎接一次性长上下文解析的新时代)
论文网址:https://arxiv.org/pdf/2606.23050
作者团队: 百度(Baidu Inc.),核心贡献者包括 Youyang Yin, Huanhuan Liu 等。
发布时间: 预印本标识为 2026年6月22日(注:依论文原文ArXiv编号推测,这是作者面向未来的一个占位符或美好期许,代表着下一代前沿技术)。
核心关键词: OCR(光学字符识别)、End-to-end(端到端)、Long-horizon Parsing(长序列解析)、R-SWA(参考滑动窗口注意力机制)、KV Cache(键值缓存)。
一句话摘要: 百度团队巧妙借鉴了人类“抄书”时的记忆模式,提出了一种全新的“参考滑动窗口注意力机制(R-SWA)”,成功解决了大模型在生成长文本时内存爆炸和速度变慢的死穴,让AI能够在一个呼吸间,一口气无缝识别并转录几十上百页的文档。
论文摘要(大白话版)
最近,以 DeepSeek OCR 为代表的“端到端OCR模型”再次将文档识别技术推向了高潮。学术界普遍认为,用大语言模型(LLM)来做解码器,可以利用语言模型自带的“语感”,让OCR识别得更准。但缺点也极其致命: 随着AI吐出的字越来越多,它脑子里堆积的记忆(KV Cache)会呈爆炸式增长,不仅狂吃显存,还会让生成速度越来越慢。
这跟咱们人类完全不一样!人类哪怕连续抄录一整天的书,效率也不会暴跌。为了让AI像人一样工作,百度提出了 Unlimited OCR(无限OCR) 模型。他们以 DeepSeek OCR 为基础底座,把大模型里传统的“注意力机制”全部替换成了他们首创的 R-SWA(参考滑动窗口注意力) 。这个神仙机制能在整个解码过程中,把算力消耗和内存占用“锁死”在一个固定值。配合高效的图像压缩技术,Unlimited OCR 可以在标准 32K 上下文长度内, 一次性(Single forward pass)转录几十页文档 。更牛的是,这种机制不仅仅适用于OCR,未来在长语音识别(ASR)、长文本翻译等任务中,都有着巨大的通用价值。
二、深度拆解
为了让大家真正明白这项技术的牛逼之处,我们分三个核心问题来掰开揉碎地讲:它到底解决了什么痛点?它的核心原理是什么?它到底有多强?
1. 痛点解析:现在的AI看书,为什么“看一页忘一页”?
我们要先明白一个概念:什么是 OCR ?
简单来说,OCR就是“把图片里的文字抠出来变成能编辑的纯文本”。以前的技术是“流水线工人”模式(Pipeline):先派一个AI把图片里的文字框出来(检测),再派另一个AI把框里的图认成字(识别),中间还要经历裁剪、矫正等一堆繁琐的规则。
后来, 多模态大语言模型(MLLMs) 崛起了。大家发现,干嘛这么麻烦?直接把整张图片喂给大模型,让它像看图说话一样,直接把整页的文字、公式、表格“吐”出来不就行了?这就是所谓的 “端到端(End-to-end)OCR” 。
但这里遇到了一个巨大的物理瓶颈—— KV Cache(键值缓存)灾难 。
【打个通俗的比方】
你可以把 GPU 的显存想象成一张 办公桌 ,AI就是一个坐在桌前工作的 抄写员 。
传统的注意力机制(Vanilla Attention)要求AI在写每一个新字的时候,必须把它 之前写过的所有字 都回看一遍,才能决定下一个字写什么。
为了不每次都重新算,AI每写一个字,就会在办公桌上贴一张“便利贴”(这就是 KV Cache)。
如果只是看一页纸(写几百个字),桌子够大,没问题。
但如果你让AI连续看50页纸(生成几万、十万个字),桌子上就会贴满十万张便利贴!
结果就是: 第一,桌子放不下了(显存溢出,直接死机);第二,AI为了找一张便利贴,要在十万张里翻找,速度变得比蜗牛还慢。
因为这个痛点,目前市面上所有的先进模型(包括之前的DeepSeek OCR),都不敢让AI一次性看一本书。他们只能用一种“笨办法”: For-loop(写代码套循环) 。也就是让AI看一页,转录一页;然后 强制清空办公桌(清空记忆) ,再去转录下一页。
这在百度研究员看来,是非常不优雅的。因为这割裂了上下文,遇到跨页的句子或表格,AI就傻眼了。这根本不是真正的人工智能,充其量是个工程上的“缝合怪”。
2. 核心大招:R-SWA机制——让AI像人类一样“抄书”
面对“桌子不够用”的问题,百度团队没有选择去买更大的桌子(堆算力、扩大物理显存),而是转过头去研究了人类。
人类是怎么抄书的?
假设让你手抄一本100页的小说。
你的眼睛会时刻盯着 原本的小说(参考源) ;
你的余光会看看你 刚刚在纸上写下的最后半句话(工作记忆) ,以此来定位自己抄到哪了;
然后,你写下下一个字。
你绝对不会在抄第50页的时候,还要把前49页自己抄写的内容从头到尾重读一遍! 对于人类来说,那些已经写在纸上的遥远内容,会被大脑“柔性遗忘”(Soft Forgetting)。
百度团队灵光一闪:对啊!既然是照着图片提取信息,AI为什么非要记住自己生成的所有历史文本呢?它只需要看着图片,再看看刚刚生成的几个字不就行了吗?
于是, R-SWA(Reference Sliding Window Attention,参考滑动窗口注意力机制) 诞生了!
这个机制把AI的注意力分成了两块:
【神奇的化学反应发生了】
在传统的机制下,随着生成的字数 $$$$ 越来越大,占用的内存是 $$L(图片) + T(无限增长$$。
而在 R-SWA 机制下,无论AI生成了一万字还是一百万字,它占用的内存永远被锁死在:$$L(图片) + 12$$!
为了把这个机制发挥到极致,百度直接站在了巨人的肩膀上——他们采用了 DeepSeek OCR 作为基座模型。
DeepSeek OCR 有一个极其优秀的“高压缩率编码器(DeepEncoder)”。如果把一张高清文档图片直接转成AI能懂的符号(Token),可能需要成千上万个。但 DeepEncoder 像个超级压缩包,能把一张大图压缩成区区 256 个 Token(16倍压缩)。
“极致的图像压缩” + “恒定的文字记忆(R-SWA)” = 无敌的 Unlimited OCR(无限OCR) !
3. 创新价值与实战成绩:一口气吞下整本书,速度还不掉!
光有理论不行,拉出来跑跑分才是硬道理。百度的研究人员用了大约200万个文档OCR数据(单页和多页混合)对模型进行了特训。最终的成绩单令人惊艳。
(1)天下武功,唯快不破:算力与显存的“定海神针”
在论文的第6节“效率分析”和核心图表中(Figure 3),研究团队测试了生成速度(TPS,每秒生成的Token数)。
在理想状态下测试:
刚开始生成(256个字时),原版模型和 Unlimited OCR 速度差不多。
但是,当生成到 6000 个字时,原版模型因为“桌子上便利贴太多”,处理速度开始肉眼可见地暴跌。
而 Unlimited OCR 的单次调用延迟(Latency)几乎是一条平缓的直线! 在6000字时,它的速度比原版模型快了整整 35%。
这就意味着,如果你要处理几十页的长研报,Unlimited OCR 不仅不会中途崩溃,而且从第一页到最后一页,始终保持着起跑时的冲刺速度。
(2)识别精准度:不仅没变笨,反而更聪明了
有人可能会问:“AI抛弃了长篇的历史记忆,只看最近的128个字,会不会变笨?会不会容易出错?”
结果恰恰相反!
在权威的文档解析基准测试 OmniDocBench (v1.5和v1.6版) 中,Unlimited OCR 击败了各路神仙。
在 v1.6 的榜单上,面对诸如 GPT-4o、Qwen2.5-VL、InternVL3 等一众超大参数的明星模型, Unlimited OCR 以 93.92% 的总分登顶端到端模型的榜首 。
在与老大哥 DeepSeek OCR 2 的直接对决中,Unlimited OCR 在文本编辑距离(衡量错别字的指标)、公式识别、表格结构还原(TEDS)上全面胜出。尤其是在表格识别上,提升了近 6%!
为什么会更准?
因为对于 OCR 这种“照抄”任务来说,让大模型看到太多自己生成的历史文本,反而会干扰它的判断。大模型容易顺着自己的“语感”开始“脑补”和“胡编乱造”(行业内叫幻觉),导致跳字、漏字。而 R-SWA 机制强迫模型“少想过去的废话,多看眼前的原图”,反而让它定位更精准,有效防止了输出的画面逐渐模糊或跑偏。
(3)真正的“无限”长卷:40页文档一次过
研究团队特意构建了一个长序列测试集,把书本按页数(2页、5页、10页、20页、40+页)丢给模型。
结果显示,即使一次性塞入 40 页以上的文档,Unlimited OCR 依然脸不红心不跳,文本编辑距离保持在极低的 0.11 以下,并且文本的去重率(Distinct-n,用来衡量模型有没有像复读机一样卡壳死循环)高达 97% 以上。以往那种“生成长文本就变成复读机或者乱码”的噩梦,被彻底终结了。
三、总结与未来展望
它的核心逻辑非常优雅:
发现痛点(长文本生成导致显存爆炸、速度奇慢) $$\rightarro$$ 观察人类(人类抄书只看原文和最近写的几个字) $$\rightarro$$ 提出算法创新(R-SWA,锁死输出端的记忆长度) $$\rightarro$$ 完美解决痛点(实现了一次性、恒定速度、低显存的长文档解析)。
这篇论文的创新价值,远远超越了“把字认得更准”这个层面:
工程落地价值极大: 在保持 3B 总参数量、仅 5 亿(0.5B)激活参数(极小算力需求)的MoE架构下,Unlimited OCR 在性能上打败了几百亿参数的巨兽。这意味着未来的普通企业甚至个人电脑,都有可能轻松运行这种“超长文档一键解析”的强大AI。
打破了固有的迷信: 过去大家总觉得“注意力机制(Attention)看到的东西越多越好”,拼命扩大上下文窗口。百度证明了,在某些强依赖参考源的任务中,“学会遗忘”反而能让模型跑得更快、更准。
通往通用人工智能(AGI)的基石: 作者在文末提到,人类不仅擅长连抄几个小时的书,还擅长连续翻译几百页的外文、连续转录几小时的录音。 R-SWA这种机制,本质上是一种高度泛化的“长效工作记忆”范式。 既然它能在 OCR(看图写字)上大获成功,未来完全可以无缝移植到 ASR(听音写字:超长会议记录)、机器翻译(看外文写中文:整本名著翻译)等所有依赖“参考源”的任务中。
正如论文标题所言,“Welcome the Era of One-shot Long-horizon Parsing”——欢迎来到一次性长序列解析的时代。传统的“切分页面、循环处理、最后拼接”的笨拙时代正在落幕。
未来,当你把一本厚厚的上百页的PDF财报丢给AI时,它不再需要一页一页地痛苦翻阅,而是能在几秒钟之内,以一种接近人类连续认知流的方式,行云流水地把所有图表、公式、文字一字不落地摆在你面前。而这篇论文,正是开启那个未来的一把关键钥匙。