Aether— 上海 AI Lab 开源的生成式世界模型

Aether 是什么

aether 是由上海 ai lab 开发的开源生成式世界模型，全部基于合成数据进行训练。aether 首次将三维时空建模与生成式建模深度结合，具备 4d 动态重建、动作条件视频预测和目标导向视觉规划三大核心功能。aether 能够感知环境、理解物体位置和运动关系，从而做出智能决策。aether 在现实世界中展示了强大的零样本泛化能力，通过虚拟数据训练高效完成复杂任务，为具身智能系统提供强大的空间推理和决策支持。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Aether 的主要功能

• 4D 动态重建：从视频中重建包含时间和空间的三维场景模型，捕捉动态变化。
• 动作条件视频预测：根据初始观察和动作轨迹预测未来场景的变化。
• 目标导向视觉规划：根据起始和目标场景生成合理路径，辅助智能系统规划行动路线。

Aether 的技术原理

• 统一多任务框架：将动态重建、视频预测和动作规划三项任务整合在一个统一的框架中进行优化。通过任务交错的特征学习，实现不同任务之间的协同优化，提升模型的稳定性和鲁棒性。
• 几何感知建模：引入三维时空建模，构建几何空间提升模型的空间推理能力。使用大量* RGBD 数据（彩色图像和深度图），开发一套完整的数据清洗与动态重建流程，并标注丰富的动作序列。
• 相机轨迹作为动作表征：选择相机轨迹作为全局动作的表示方式。在导航任务中，相机轨迹直接对应导航路径；在机器人操作中，手柄相机的运动可以捕捉末端执行器的 6D 运动。
• 扩散模型与多模态融合：基于预训练的视频扩散模型，用合成 4D 数据进行后训练。将深度视频转换为尺度不变的归一化视差表示，将相机轨迹编码为与扩散变换器（DiTs）时空框架对齐的尺度不变射线图序列表示。通过动态整合跨任务和跨模态的条件信号，Aether 实现多模态信息的融合和协同优化。
• 零样本泛化能力：完全在虚拟数据上训练，实现对真实世界的零样本泛化。通过组合不同的条件输入（如观察帧、目标帧和动作轨迹），结合扩散过程，实现对多种任务的统一建模与生成。让模型在没有真实世界数据的情况下，迁移到真实场景中表现出色。

Aether 的项目地址

• 项目官网：https://www./link/6d9d8262844bea015e2303ae58d829bf
• GitHub仓库：https://www./link/28d672f02fcf6d9a2d550d8713e941e3
• HuggingFace模型库：https://www./link/5e36871351666a2b5579697f3fa7556d
• arXiv技术论文：https://www./link/e900e23359023d5eb02b90a0933dc43d
• 在线体验Demo：https://www./link/61d5d9601b149e9c5356878a372b2921

Aether 的应用场景

• 机器人导航：帮助机器人规划路径，避开动态障碍。
• 自动驾驶：实时重建道路场景，预测交通动态。
• 虚拟现实：生成沉浸式虚拟场景，增强用户体验。
• 工业机器人：优化机器人操作路径，提高生产效率。
• 智能监控：分析监控视频，预测异常行为。

# git  # ai  # github  # http  # 变换器  # 多模  # 首次  # 是由  # 三大  # 三项  # 转换为  # 主要功能  # 上海  # 开源 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： 百度AI助手直接入口 一键直达官网入口  AI虚拟网红打造指南：轻松制作专属社交媒体形象  GitHub Copilot CLI：终端中的 AI 编码助手  Motion 教程：AI 驱动的智能日程安排，提高工作效率  探索都市传说：追寻鳄鱼飞机怪物“Bombardino Crocodilo”  都灵裹尸布之谜：AI揭示耶稣基督的真实面貌？  PixianAI抠图怎么修复瑕疵_PixianAI瑕疵修复与手动涂抹工具【步骤】  eBookWriter AI：无需写作也能创作专业电子书  如何让ChatGPT模仿特定文风 创意写作与品牌话术生成教程  FundView贷款管理：贷款汇总生成器提升效率  美食ASMR：感官盛宴与解压体验  1-11月30万元以上插电混动车型销量榜：问界双车前二  HelloData.ai：AI驱动的多户型房地产市场分析平台  深度学习姿态估计：技术、应用与未来趋势全解析  雷小兔ai智能写作如何生成文案_雷小兔ai智能写作文案生成场景选择【攻略】  DeepSeek 辅助进行 Linux 内核参数调优教程  乐高积木重现约拿的故事：圣经故事趣味解读  通义听悟转会议纪要怎么用_通义听悟转会议纪要使用方法详细指南【教程】  Android图像翻译器应用：技术、应用与未来展望  ChatGPT官方网页端入口 ChatGPT官网快速登录方法  AI产品经理：AI赋能与AI原生，未来PM的技能演进  Saregama Carvaan: 5000首经典歌曲唤醒你的回忆  CanvaAI抠图怎样调整色彩_CanvaAI色彩校正与滤镜叠加方法【攻略】  Character AI终极指南：构建你的人工智能伴侣，探索无限可能  ClaudePC端怎么设快捷键_ClaudePC端快捷键设置【方法】  利用豆包 AI 进行个性化旅行 Vlog 脚本设计  微信AI数字人怎样切换形象风格_微信AI数字人形象更换与风格选择【技巧】  EdrawMax AI：项目管理和创意专业人士的终极图表工具  iPhone 17 Pro Max深度测评：AI驱动的未来手机已来？  创客贴AI排版如何批量处理图文_创客贴AI排版批量操作与效率提升【方法】  AI卡通视频制作终极指南：轻松打造百万流量  宠物翻译App评测：与猫狗交流的未来科技？  AI问卷调查生成工具有哪些_一键生成调研表单的AI工具推荐  豆包AI怎么生成员工成长总结_豆包AI成长指标提取与案例编写【方法】  教你用AI将长视频内容切片，并自动生成短视频文案  打造迷人外表：AI技术揭秘面部美学比例与颜值提升  3步教你用AI自动分类文件，整理电脑告别杂乱  ChatGPT怎么写工作汇报 职场办公效率提升与周报生成方法  经济型游戏PC构建指南：30000卢比畅玩3A游戏  去哪旅行ai抢票助手如何设置抢票策略_去哪旅行ai抢票助手策略配置与优先级【攻略】  Postman Flows：构建智能AI驱动型工作流完全指南  DeepSeek如何编写Shell脚本 DeepSeek自动化运维指南  LeetCode算法：最长公共前缀问题全面解析  AI绘画工具怎么用_AI绘画工具使用方法详细指南【教程】  怎么用AI帮你设计一套个性化的手机App图标？  今日头条AI怎样推荐抢票工具_今日头条AI抢票工具推荐算法与筛选【技巧】  百度AI搜索怎么用语音提问_百度AI搜索语音输入与识别优化【指南】  Depseek能否批量生成部门总结_Depseek多部门总结批量生成步骤【方法】  Docker MCP Toolkit：简化AI代理与外部工具的连接  AI一键生成儿童绘本故事 

 2025-04-23