突破分辨率极限：字节联合中科大揭示多模态文档大模型

---

现在甚至有了大型的多模态高分辨率文档！

这项技术不仅能够准确识别图像中的信息，还能够根据用户需求调用自身的知识库来回答问题

比如，看到图中马里奥的界面，直接就回答出了这是任天堂公司的作品。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

这个模型是由字节跳动和中国科学技术大学合作研究的，于2025年11月24日上传至arXiv

在此研究中，作者团队提出DocPedia，一个统一的高分辨率多模态文档大模型DocPedia。

在此研究中，作者用一种新的方式解决了现有模型不能解析高分辨文档图像的短板。

DocPedia分辨率可达2560×2560，而目前业内先进多模态大模型如LLaVA、MiniGPT-4等处理图像分辨率上限为336×336，无法解析高分辨率的文档图像。

那么，这款模型究竟表现如何，又使用了怎样的优化方式呢？

各项测评成绩显著提升

在这篇论文中，作者展示了DocPedia高分辨图文理解的示例。可以观察到DocPedia有能力理解指令内容，并从高分辨率的文档图像和自然场景图像中准确地提取相关的图文信息

比如这组图中，DocPedia轻松从图片中挖掘出了车牌号、电脑配置等文本信息，甚至手写文字也能准确判断。

结合图像中的文本信息，DocPedia还可以利用大模型推理能力，根据上下文分析问题。

DocPedia在读取完图片信息后，还会根据其丰富的世界知识库，回答图像中未展示的扩展内容

下表定量对比了现有的一些多模态大模型和DocPedia的关键信息抽取（KIE）和视觉问答（VQA）能力。

通过提升分辨率和采用有效的训练方法，我们可以看到DocPedia在各项测试基准上都取得了显著的提升

那么，DocPedia是如何实现这样的效果的呢呢？

从频域出发解决分辨率问题

DocPedia的训练分为两个阶段：预训练和微调。为了训练DocPedia，作者团队收集了包含各类文档的大量图文数据，并构建指令微调数据集。

在预训练阶段，大型语言模型将被冻结，而只优化视觉编码器的部分，以使其输出的token表征空间与大型语言模型保持一致

在这个阶段，作者团队提出主要训练DocPedia的感知能力，包括对文字和自然场景的感知

预训练任务包括文字检测、文字识别、端到端OCR、段落阅读、全文阅读，以及图像文字说明。

在微调阶段，大型语言模型解除冻结，进行端到端整体优化

作者团队提出了感知-理解联合训练策略：在原有的低阶感知任务基础上，增加了文档理解和场景图像两种高阶的偏语义理解任务

这样一种感知-理解联合训练策略，进一步提高了DocPedia的性能。

在分辨率问题的策略上，与现有方法不同，DocPedia从频域的角度出发去解决。

在处理高分辨率文档图像时，DocPedia会首先提取其DCT系数矩阵。这个矩阵可以在不损失原图像的图文信息的情况下，将其空间分辨率下采样8倍

经过这一步骤后，我们会使用级联的频域适配器（Frequency Adapter）将输入信号传递给视觉编码器（Vision Encoder），以进行更深层次的分辨率压缩和特征提取

通过此方法，一张2560×2560的图像，其图文信息可以用1600个token表示。

该方法相较于直接将原始图像输入到视觉编码器（如Swin Transformer）中，token数量减少4倍。

最后，这些token与指令转换而来的token进行序列维度拼接，输入到大模型进行回答。

消融实验的结果显示，提高分辨率和进行感知-理解联合微调是提升DocPedia性能的两个重要因素

下图对比了DocPedia对于一张论文图像以及同一个指令，在不同输入尺度下的回答。可以看到，当且仅当分辨率提升至2560×2560时，DocPedia回答正确。

下图则对比了DocPedia对于同一张场景文字图像以及同一个指令，在不同微调策略下模型的回答。

通过这个例子可以看出，经过感知-理解联合微调的模型，能够准确地进行文字识别和语义问答

请点击以下链接查看论文：https://arxiv.org/abs/2311.11810

# Token  # transformer  # ocr  # https  # 文档  # 多模  # 出了  # 在此  # 比了  # 可以看到  # 马里奥  # 图中  # 端到  # 这是 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： 豆包Ai官网在线入口_豆包Ai网页版访问方式  ChatGPT图像生成器完全指南：文化影响、伦理挑战与商业变革  如何用AI帮你把小说改编成电影剧本？3步掌握核心技巧  Claude官网在线对话地址 Claude官方网站直接使用  文本分类：生成模型与朴素贝叶斯算法的全面指南  lovemo网页版地址 lovemo官网手机登录  提升阅读理解：策略、技巧和有效方法全面指南  AGI未来展望：DeepMind CEO的深度解读与行业洞察  一键生成PPT工具怎么用_一键生成PPT工具使用方法详细指南【教程】  Claude怎样写引导型提示词_Claude引导提示词写法【方法】  ChatGPT官方主页入口 ChatGPT网页版快速进入指南  AI赋能音频转录：SovereignAudio自托管解决方案  通义千问怎么设置功能偏好_通义千问偏好设置【教程】  AI写作工具检测：学生如何避免学术不端行为  AI自动化工作流：Zapier提升效率，优化工作流程  AI学习秘籍：3个高效黑科技，解锁智能学习新时代  利用AI赋能教育：学习方式的未来之路  打破传统，拥抱幸福：公主如何找到真我？  解密AI时尚摄影：打造完美形象的终极指南  Dr.Job AI：职场简历优化终极指南，提升求职成功率  Sora AI：颠覆视频创作？OpenAI最新文生视频模型深度解析  AI赋能软件测试：自动化、智能化与未来趋势  机器学习赋能AI生产力工具：提升效率与智能决策  AI复古风照片编辑教程：Gemini AI轻松打造复古时尚  AI驱动SaaS增长：AppSumo $700万美金业务增长策略揭秘  AI 编码助手大比拼：Gemini、Tabnine 和 Cline 的深度测评  小型邮件列表的终极指南：使用AI最大化营销效果  AISIA O1皮肤检测仪操作指南：安装、使用、疑难解答  如何通过 DeepSeek 优化 Kubernetes 配置文件  AI测试面试准备：提升你的面试技巧与知识储备  2025年43英寸电视选购指南：最佳品牌与型号推荐  AI任务管理器终极评测：找到最适合你的效率神器  GitHub Copilot与Azure AI Foundry模型：加速AI编程实践  tofai官网入口网站 tofai官网入口网页版  GoHighLevel AI Agent：终极指南，释放你的CRM潜力  AI代码助手的崛起：软件工程的未来展望与实用指南  ChatGPT怎样用提示词分步骤提问_ChatGPT分步提问技巧【方法】  AI时代生存指南：掌握软实力，成为不可替代的人  国产开源模型Kimi K2 Thinking上线美应用，挑战美国科技巨头！  Gemini怎样用快捷指令_Gemini快捷指令使用教程【步骤】  ChatGPT怎么设置中文界面_ChatGPT中文设置步骤【方法】  教你用AI帮你写一份完整的用户调研报告，从数据到结论全搞定  Midjourney怎样写风格化提示词_Midjourney风格提示词写法【教程】  通义千问网页版怎么用模板_通义千问模板使用方法【方法】  AI怎么修复模糊视频 视频画质增强AI软件Topaz Video使用【教程】  Feelin聊天网页版地址 Feelin AI官方网站首页  如何利用文心一言优化知乎高赞回答的逻辑结构  AI驱动音频优化：提升音质的终极指南  AI猴子视频制作终极指南：从入门到网红，轻松上手！  在线歌曲歌词生成器：创意歌词轻松创作指南 

 2023-12-04