LeCun怒斥Sora不能理解物理世界！Meta首发AI视频「世界模型」V-JEPA

---

Sora一经面世，瞬间成为顶流，话题热度只增不减。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

强大的逼真视频生成能力，让许多人纷纷惊呼「现实不存在了」。

甚至，OpenAI技术报告中透露，Sora能够深刻地理解运动中的物理世界，堪称为真正的「世界模型」。

而一直将「世界模型」作为研究重心的图灵巨头LeCun，也卷入了这场论战。

起因是，网友挖出前几天LeCun参加WGS峰会上发表的观点：「在AI视频方面，我们不知道该怎么做」。

他认为，仅凭文字提示生成逼真视频并不等同于模型理解物理世界。生成视频的方法与基于因果预测的世界模型截然不同。

接下来，LeCun更详细地解释道：

虽然可以想象出的视频种类繁多，但视频生成系统只需创造出「一个」合理的样本就算成功。

而对于一个真实视频，其合理的后续发展路径就相对较少，生成这些可能性中的具代表性部分，尤其是在特定动作条件下，难度大得多。

此外，生成这些视频后续内容不仅成本高昂，实际上也毫无意义。

更理想的做法是生成那些后续内容的「抽象表示」，去除与我们可能采取的行动无关的场景细节。

这正是JEPA（联合嵌入预测架构）的核心思想，它并非生成式的，而是在表示空间中进行预测。

然后，他用自家的研究VICReg、I-JEPA、V-JEPA以及他人的工作证明：

与重建像素的生成型架构，如变分自编码器（Variational AE）、掩码自编码器（Masked AE）、去噪自编码器（Denoising AE）等相比，「联合嵌入架构」能够产生更优秀的视觉输入表达。

当使用学习到的表示作为下游任务中受监督头部的输入（无需对主干进行微调），联合嵌入架构在效果上超过了生成式架构。

也就是在Sora模型发布的当天，Meta重磅推出一个全新的无监督「视频预测模型」——V-JEPA。

自2025年LeCun首提JEPA之后，I-JEPA和V-JEPA分别基于图像、视频拥有强大的预测能力。

号称能够以「人类的理解方式」看世界，通过抽象性的高效预测，生成被遮挡的部分。

论文地址：https://ai.meta.com/research/publications/revisiting-feature-prediction-for-learning-visual-representations-from-video/

V-JEPA看到下面视频中的动作时，会说「将纸撕成两半」。

再比如，翻看笔记本的视频被遮挡了一部分，V-JEPA便能够对笔记本上的内容做出不同的预测。

值得一提的是，这是V-JEPA在观看200万个视频后，才获取的超能力。

实验结果表明，仅通过视频特征预测学习，就能够得到广泛适用于各类基于动作和外观判断的任务的「高效视觉表示」，而且不需要对模型参数进行任何调整。

基于V-JEPA训练的ViT-H/16，在Kinetics-400、SSv2、ImageNet1K 基准上分别取得了81.9%、72.2%和77.9%的高分。

看完200万个视频后，V-JEPA理解世界了

人类对于周遭世界的认识，特别是在生命的早期，很大程度上是通过「观察」获得的。

就拿牛顿的「运动第三定律」来说，即便是婴儿，或者猫，在多次把东西从桌上推下并观察结果，也能自然而然地领悟到：凡是在高处的任何物体，终将掉落。

这种认识，并不需要经过长时间的指导，或阅读海量的书籍就能得出。

可以看出，你的内在世界模型——一种基于心智对世界的理解所建立的情景理解——能够预见这些结果，并且极其高效。

Yann LeCun表示，V-JEPA正是我们向着对世界有更深刻理解迈出的关键一步，目的是让机器能够更为广泛的推理和规划。

2025年，他曾首次提出联合嵌入预测架构（JEPA）。

我们的目标是打造出能够像人类那样学习的先进机器智能（AMI），通过构建对周遭世界的内在模型来学习、适应和高效规划，以解决复杂的任务。

V-JEPA：非生成式模型

与生成式AI模型Sora完全不同，V-JEPA是一种「非生成式模型」。

它通过预测视频中被隐藏或缺失部分，在一种抽象空间的表示来进行学习。

这与图像联合嵌入预测架构（I-JEPA）类似，后者通过比较图像的抽象表示进行学习，而不是直接比较「像素」。

不同于那些尝试重建每一个缺失像素的生成式方法，V-JEPA能够舍弃那些难以预测的信息，这种做法使得在训练和样本效率上实现了1.5-6倍的提升。

V-JEPA采用了自监督的学习方式，完全依靠未标记的数据进行预训练。

仅在预训练之后，它便可以通过标记数据微调模型，以适应特定的任务。

因此，这种架构比以往的模型更为高效，无论是在需要的标记样本数量上，还是在对未标记数据的学习投入上。

在使用V-JEPA时，研究人员将视频的大部分内容遮挡，仅展示极小部分的「上下文」。

然后请求预测器补全所缺失的内容——不是通过具体的像素，而是以一种更为抽象的描述形式在这个表示空间中填充内容。

V-JEPA通过预测学习潜空间中被隐藏的时空区域来训练视觉编码器

掩码方法

V-JEPA并不是为了理解特定类型的动作而设计的。

相反，它通过在各种视频上应用自监督学习，掌握了许多关于世界运作方式的知识。

Meta研究人员还精心设计了掩码（masking）策略：

如果不遮挡视频的大部分区域，而只是随机选取一些小片段，这会让学习任务变得过于简单，导致模型无法学习到关于世界的复杂信息。

同样，需要注意的是，大多数视频中，事物随着时间的推移而逐渐演变。

如果只在短时间内掩码视频的一小部分，让模型能看到前后发生的事，同样会降低学习难度，让模型难以学到有趣的内容。

因此，研究人员采取了同时在空间和时间上掩码视频部分区域的方法，迫使模型学习并理解场景。

高效预测，无需微调

在抽象的表示空间中进行预测非常关键，因为它让模型专注于视频内容的高层概念，而不必担心通常对完成任务无关紧要的细节。

毕竟，如果一段视频展示了一棵树，你可能不会关心每一片树叶的微小运动。

而真正让Meta研究人员兴奋的是，V-JEPA是首个在「冻结评估」上表现出色的视频模型。

冻结，是指在编码器和预测器上完成所有自监督预训练后，就不再对其进行修改。

当我们需要模型学习新技能时，只需在其上添加一个小型的、专门的层或网络，这种方式既高效又快速。

以往的研究还需要进行全面的微调，即在预训练模型后，为了让模型在细粒度动作识别等任务上表现出色，需要微调模型的所有参数或权重。

直白讲，微调后的模型只能专注于某个任务，而无法适应其他任务。

如果想让模型学习不同的任务，就必须更换数据，并对整个模型进行专门化调整。

V-JEPA的研究表明，就可以一次性预训练模型，不依赖任何标记数据，然后将模型用于多个不同的任务，如动作分类、细粒度物体交互识别和活动定位，开辟了全新的可能。

- 少样本冻结评估

研究人员将V-JEPA与其他视频处理模型进行了对比，特别关注在数据标注较少的情况下的表现。

它们选取了Kinetics-400和Something-Something-v2两个数据集，通过调整用于训练的标注样本比例（分别为5%，10%和50%），观察模型在处理视频时的效能。

为了确保结果的可靠性，在每种比例下进行了3次独立的测试，并计算出了平均值和标准偏差。

结果显示，V-JEPA在标注使用效率上优于其他模型，尤其是当每个类别可用的标注样本减少时，V-JEPA与其他模型之间的性能差距更加明显。

未来研究新方向：视觉+音频同预测

虽然V-JEPA的「V」代表视频，但迄今为止，它主要集中于分析视频的「视觉元素」。

显然，Meta下一步是研究方向是，推出一种能同时处理视频中的「视觉和音频信息」的多模态方法。

作为一个验证概念的模型，V-JEPA在识别视频中细微的物体互动方面表现出色。

比如，能够区分出某人是在放下笔、拿起笔，还是假装放下笔但实际上没有放下。

不过，这种高级别的动作识别对于短视频片段（几秒到10秒钟）效果很好。

因此，下一步研究另一个重点是，如何让模型在更长的时间跨度上进行规划和预测。

「世界模型」又进一步

到目前为止，Meta研究人员使用V-JEPA主要关注于的是「感知」——通过分析视频流来理解周围世界的即时情况。

在这个联合嵌入预测架构中，预测器充当了一个初步的「物理世界模型」，能够概括性地告诉我们视频中正在发生的事情。

Meta的下一步目标是展示，如何利用这种预测器或世界模型来进行规划和连续决策。

我们已经知道，JEPA模型可以通过观察视频来进行训练，就像婴儿观察世界一样，无需强有力的监督就能学习很多。

通过这种方式，仅用少量标注数据，模型就能快速学习新任务和识别不同的动作。

从长远来看，在未来应用中，V-JEPA强大情境理解力，对开发具身AI技术以及未来增强现实（AR）眼镜有着重大意义。

现在想想，如果苹果Vision Pro能够得到「世界模型」的加持，更加无敌了。

网友讨论

显然，LeCun对生成式AI并不看好。

「听听一个一直在试图训练用于演示和规划的「世界模型」过来人的建议」。

Perplexity AI的首席执行官表示：

Sora虽然令人惊叹，但还没有准备好对物理进行准确的建模。并且Sora的作者非常机智，在博客的技术报告部分提到了这一点，比如打碎的玻璃无法很好地建模。

很明显短期内，基于这样复杂的世界*的推理，是无法在家用机器人上立即运行的。

事实上，许多人未能理解的一个非常重要的细微差别是：

在文本或视频中生成看似有趣的内容并不意味着（也不需要）它「理解」自己生成的内容。一个能够基于理解进行推理的智能体模型必须，绝对是在大模型或扩散模型之外。

但也有网友表示，「这并不是人类学习的方式」。

「我们对以往经历的只记得一些独特的，丢掉了所有的细节。我们还可以随时随地为环境建模（创建表示法），因为我们感知到了它。智能最重要的部分是泛化」。

还有人称，它仍然是插值潜在空间的嵌入，到目前为止你还不能以这种方式构建「世界模型」。

Sora，以及V-JEPA真的能够理解世界吗？你怎么看？

# ai  # 架构  # for  # 抽象性  # https  # ar  # 是在  # 的是  # 掩码  # 就能  # 在这个  # 尤其是  # 只需  # 许多人  # 以往  # 较少 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： 百度AI助手直接入口 一键直达官网入口  SnappaAI排版如何生成社交媒体图_SnappaAI排版社媒图尺寸与风格选择【技巧】  lovemo网页版直接进入 lovemo官网在线登录  通义听悟转会议纪要怎么用_通义听悟转会议纪要使用方法详细指南【教程】  京东旅行AI能否抢返程票_京东AI返程票预约与自动抢购【技巧】  AI赋能保险销售：提升邮件营销效果的终极指南  探索未来：AI机器人AURORA揭秘亚特兰蒂斯之谜  AI数字人教程：轻松打造专属YouTube虚拟形象  重温经典：宝可梦动画中的精彩瞬间与幕后花絮  稿定AI智能设计怎样自动生成电商Banner_稿定AI智能设计Banner生成流程【步骤】  AI绘图工具测评：告别复杂流程，高效创作流程图  AI虚拟女友：终极浪漫伴侣还是数字陷阱？  钉钉ai划词工具怎么使用划词查词_钉钉ai划词工具查词入口与释义查看【指南】  Agentic Testing入门：使用Playwright和Claude Code构建自动化框架  千问怎么用提示词生成演讲稿_千问演讲稿提示词框架与开场【教程】  Spin Rewriter AI：终极内容创作与SEO优化指南  AI 播客脚本写作工具：提升内容创作效率的终极指南  BeFunkyAI排版怎么给图片加艺术字_BefunkyAI排版艺术字添加与样式调整【指南】  ChatGPT助力QA测试：提升效率与质量的终极指南  ChatGPT多轮对话技巧分享 引导AI深入探讨复杂问题的方法  利用 ChatGPT 设计高效的个人健身与饮食计划  AI Buildr: 构建 AI 应用的终极指南  如何利用 DeepSeek 进行多轮复杂对话的状态管理  百度APP的ai助手怎么关闭 百度APP ai功能取消方法  如何用AI自动生成Python代码 AI编程助手ChatGPT使用方法【教程】  怎么用AI帮你解读复杂的学术论文？快速抓住核心论点和证据  寓言故事：狮子与老鼠，学习英语的趣味童话之旅  讯飞星火怎样一键生成教案_讯飞星火教案生成与学科选择【教程】  DeepSeek V3 本地部署对硬件要求的详细说明  CodeRabbit CLI: AI 代码审查工具，提升编码效率与代码质量  即梦AI怎样生成产品描述_即梦AI产品描述生成与卖点提炼【实操】  DeepSeek 辅助进行硬件描述语言 Verilog 调试  lovemo手机网页版 lovemo官方入口地址  5分钟教你用AI生成短视频分镜脚本，小白也能拍大片  千问如何生成年终总结PPT_千问PPT模板选择与内容自动填充【攻略】  电脑百度ai助手怎么关闭 电脑版百度ai助手移除教程  Gemini怎么用新功能实时问答_Gemini实时问答使用【步骤】  去哪旅行ai抢票助手如何设置抢票策略_去哪旅行ai抢票助手策略配置与优先级【攻略】  AI聊天机器人会取代人类吗？深度剖析与未来展望  雷小兔ai智能写作如何生成日记_雷小兔ai智能写作日记模板调用【步骤】  AI邮件营销风险解析：如何规避客户触达的潜在陷阱  教你用AI进行角色扮演对话，练习你的沟通和谈判技巧  CanvaAI抠图怎么批量处理_CanvaAI批量抠图与团队协作功能【指南】  如何在 Google Sheets 中利用 Gemini 自动填充数据  智行ai抢票如何绑定微信通知_智行ai抢票微信提醒绑定与推送设置【指南】  AI赋能！图形设计师必备的顶级AI工具  tofai怎么调整层级顺序 tofai图层上下移动方法【步骤】  批改网AI检测工具怎样优化检测精度_批改网AI检测工具精度调节与模型选择【实操】  AI营销赋能本地服务：从Facebook广告到客户终身价值提升策略  AI卡通视频制作终极指南：轻松打造百万流量 

 2024-02-19