NVIDIA发布Isaac GR00T
机器人需要借助大规模、发布高物理精度且多样化的发布数据集进行训练,才能在复杂环境中进行推理并完成多种任务,发布而目前这些数据难以公开获取。发布
在华盛顿特区举行的发布 NVIDIA GTC 大会上,NVIDIA 发布了基于NVIDIA Cosmos世界基础模型构建的发布IsaacGR00T-Dreams合成数据生成与神经仿真框架,可帮助机器人突破现实经验的发布局限进行学习。通过生成如虚拟世界状态与动作轨迹的发布“梦境”,开发者可为机器人生成不同环境下的发布训练数据与动作指令,使其掌握新技能。发布
传统合成数据生成方法需要开发者耗费大量精力构建虚拟环境,发布而 GR00T-Dreams 框架彻底改变了这一模式:仅需一张图片以及简单的发布自然语言指令,即可“构想”出全新的发布训练场景。
GR00T-Dreams 框架包含两种核心模式:
Passive dreaming模式能够自动生成多样化的发布机器人训练视频场景。开发者只需输入图像和指令,发布例如移动物体或在空间内导航,即可对类似NVIDIA Cosmos Predict等世界模型进行后训练。随后,GR00T-Dreams 仅需文本提示,即可“构想”生成多个合成序列,动态呈现机器人如何在新环境中完成各类任务,同时场景中的物体与背景可以完全通过文本提示进行更换。
Lucid dreaming模式作为一个响应式神经仿真器则更进一步。它可使 AI模型仅凭一张 2D 图像构建出完整的交互式虚拟世界,在这些环境中开发者可以远程精确控制机器人进行复杂机械动作,还可实时测试各种边缘场景。
场景生成后,GR00T-Dreams 会将其送入Cosmos Reason推理模型进行筛选,该模型能够过滤存在缺陷或质量较低的“不好的梦境”。经筛选保留的数据将形成连贯的动作轨迹,为 GR00T N 系列等视觉语言动作模型提供后训练支持。
这些模型集成了视觉感知、自然语言理解与物理控制系统,使机器人能够精准解析指令并在复杂环境中做出自主响应。
- ·余承东领衔参与央视跨界对话
- ·离开生活4年的家 首头网箱繁育江豚回归自然水域
- ·青智功率分析仪电抗器等被动原件低功率因数测量
- ·泉州市区猪肉价格已连续几天出现小幅度回落
- ·2024年11月127款产品适配LoongArch平台
- ·无人机为啥都用 MS4525DO 空速计?
- ·滁州市博物馆联盟首届文创冰箱贴设计大赛公告_
- ·泉州市国家水利风景区增至6家
- ·生育友好型社会应无学历歧视
- ·泉州市国家水利风景区增至6家
- ·南谯增值服务激发企业活力_
- ·张铺镇“三化”提升党建引领乡村治理水平_
- ·七成受访青年感觉太多虚拟社交让人更孤独
- ·白云社区开展道德模范先进事迹学习活动_
- ·福田汽车HWA组合辅助驾驶技术赋能物流行业降本增效
- ·安溪县241名“城市美容师”共享年夜饭
