Aether— 上海 AI Lab 开源的生成式世界模型


Aether 是什么

aether 是由上海 ai lab 开发的开源生成式世界模型,全部基于合成数据进行训练。aether 首次将三维时空建模与生成式建模深度结合,具备 4d 动态重建、动作条件视频预测和目标导向视觉规划三大核心功能。aether 能够感知环境、理解物体位置和运动关系,从而做出智能决策。aether 在现实世界中展示了强大的零样本泛化能力,通过虚拟数据训练高效完成复杂任务,为具身智能系统提供强大的空间推理和决策支持。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Aether 的主要功能

  • 4D 动态重建:从视频中重建包含时间和空间的三维场景模型,捕捉动态变化。
  • 动作条件视频预测:根据初始观察和动作轨迹预测未来场景的变化。
  • 目标导向视觉规划:根据起始和目标场景生成合理路径,辅助智能系统规划行动路线。

Aether 的技术原理

  • 统一多任务框架:将动态重建、视频预测和动作规划三项任务整合在一个统一的框架中进行优化。通过任务交错的特征学习,实现不同任务之间的协同优化,提升模型的稳定性和鲁棒性。
  • 几何感知建模:引入三维时空建模,构建几何空间提升模型的空间推理能力。使用大量* RGBD 数据(彩色图像和深度图),开发一套完整的数据清洗与动态重建流程,并标注丰富的动作序列。
  • 相机轨迹作为动作表征:选择相机轨迹作为全局动作的表示方式。在导航任务中,相机轨迹直接对应导航路径;在机器人操作中,手柄相机的运动可以捕捉末端执行器的 6D 运动。
  • 扩散模型与多模态融合:基于预训练的视频扩散模型,用合成 4D 数据进行后训练。将深度视频转换为尺度不变的归一化视差表示,将相机轨迹编码为与扩散变换器(DiTs)时空框架对齐的尺度不变射线图序列表示。通过动态整合跨任务和跨模态的条件信号,Aether 实现多模态信息的融合和协同优化。
  • 零样本泛化能力:完全在虚拟数据上训练,实现对真实世界的零样本泛化。通过组合不同的条件输入(如观察帧、目标帧和动作轨迹),结合扩散过程,实现对多种任务的统一建模与生成。让模型在没有真实世界数据的情况下,迁移到真实场景中表现出色。

Aether 的项目地址

  • 项目官网:https://www./link/6d9d8262844bea015e2303ae58d829bf
  • GitHub仓库:https://www./link/28d672f02fcf6d9a2d550d8713e941e3
  • HuggingFace模型库:https://www./link/5e36871351666a2b5579697f3fa7556d
  • arXiv技术论文:https://www./link/e900e23359023d5eb02b90a0933dc43d
  • 在线体验Demo:https://www./link/61d5d9601b149e9c5356878a372b2921

Aether 的应用场景

  • 机器人导航:帮助机器人规划路径,避开动态障碍。
  • 自动驾驶:实时重建道路场景,预测交通动态。
  • 虚拟现实:生成沉浸式虚拟场景,增强用户体验。
  • 工业机器人:优化机器人操作路径,提高生产效率。
  • 智能监控:分析监控视频,预测异常行为。


# git  # ai  # github  # http  # 变换器  # 多模  # 首次  # 是由  # 三大  # 三项  # 转换为  # 主要功能  # 上海  # 开源 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237


相关推荐: 百度AI助手直接入口 一键直达官网入口  AI虚拟网红打造指南:轻松制作专属社交媒体形象  GitHub Copilot CLI:终端中的 AI 编码助手  Motion 教程:AI 驱动的智能日程安排,提高工作效率  探索都市传说:追寻鳄鱼飞机怪物“Bombardino Crocodilo”  都灵裹尸布之谜:AI揭示耶稣基督的真实面貌?  PixianAI抠图怎么修复瑕疵_PixianAI瑕疵修复与手动涂抹工具【步骤】  eBookWriter AI:无需写作也能创作专业电子书  如何让ChatGPT模仿特定文风 创意写作与品牌话术生成教程  FundView贷款管理:贷款汇总生成器提升效率  美食ASMR:感官盛宴与解压体验  1-11月30万元以上插电混动车型销量榜:问界双车前二  HelloData.ai:AI驱动的多户型房地产市场分析平台  深度学习姿态估计:技术、应用与未来趋势全解析  雷小兔ai智能写作如何生成文案_雷小兔ai智能写作文案生成场景选择【攻略】  DeepSeek 辅助进行 Linux 内核参数调优教程  乐高积木重现约拿的故事:圣经故事趣味解读  通义听悟转会议纪要怎么用_通义听悟转会议纪要使用方法详细指南【教程】  Android图像翻译器应用:技术、应用与未来展望  ChatGPT官方网页端入口 ChatGPT官网快速登录方法  AI产品经理:AI赋能与AI原生,未来PM的技能演进  Saregama Carvaan: 5000首经典歌曲唤醒你的回忆  CanvaAI抠图怎样调整色彩_CanvaAI色彩校正与滤镜叠加方法【攻略】  Character AI终极指南:构建你的人工智能伴侣,探索无限可能  ClaudePC端怎么设快捷键_ClaudePC端快捷键设置【方法】  利用豆包 AI 进行个性化旅行 Vlog 脚本设计  微信AI数字人怎样切换形象风格_微信AI数字人形象更换与风格选择【技巧】  EdrawMax AI:项目管理和创意专业人士的终极图表工具  iPhone 17 Pro Max深度测评:AI驱动的未来手机已来?  创客贴AI排版如何批量处理图文_创客贴AI排版批量操作与效率提升【方法】  AI卡通视频制作终极指南:轻松打造百万流量  宠物翻译App评测:与猫狗交流的未来科技?  AI问卷调查生成工具有哪些_一键生成调研表单的AI工具推荐  豆包AI怎么生成员工成长总结_豆包AI成长指标提取与案例编写【方法】  教你用AI将长视频内容切片,并自动生成短视频文案  打造迷人外表:AI技术揭秘面部美学比例与颜值提升  3步教你用AI自动分类文件,整理电脑告别杂乱  ChatGPT怎么写工作汇报 职场办公效率提升与周报生成方法  经济型游戏PC构建指南:30000卢比畅玩3A游戏  去哪旅行ai抢票助手如何设置抢票策略_去哪旅行ai抢票助手策略配置与优先级【攻略】  Postman Flows:构建智能AI驱动型工作流完全指南  DeepSeek如何编写Shell脚本 DeepSeek自动化运维指南  LeetCode算法:最长公共前缀问题全面解析  AI绘画工具怎么用_AI绘画工具使用方法详细指南【教程】  怎么用AI帮你设计一套个性化的手机App图标?  今日头条AI怎样推荐抢票工具_今日头条AI抢票工具推荐算法与筛选【技巧】  百度AI搜索怎么用语音提问_百度AI搜索语音输入与识别优化【指南】  Depseek能否批量生成部门总结_Depseek多部门总结批量生成步骤【方法】  Docker MCP Toolkit:简化AI代理与外部工具的连接  AI一键生成儿童绘本故事 

 2025-04-23

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

南京市珐之弘网络技术有限公司


南京市珐之弘网络技术有限公司

南京市珐之弘网络技术有限公司专注海外推广十年,是谷歌推广.Facebook广告全球合作伙伴,我们精英化的技术团队为企业提供谷歌海外推广+外贸网站建设+网站维护运营+Google SEO优化+社交营销为您提供一站式海外营销服务。

 87067657

 13565296790

 87067657@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.