NVIDIA加速人形机器人开发
开发人员可以在Isaac实验室和Isaac Sim, OSMO机器人云计算编排服务,远程操作数据捕获工作流程等尝试NVIDIA NIM机器人微服务模拟
为了在全球范围内加速人形机器人的发展,NVIDIA于7月29日发布提供世界领先的机器人制造商、人工智能模型开发商和软件制造商,提供一套服务、模型和计算平台,以开发、培训和构建下一代人形机器人。
这些产品中包括用于机器人模拟和学习的NVIDIA NIM™微服务和框架,以及用于运行的NVIDIA OSMO编排服务多阶段机器人工作负载,以及支持人工智能和仿真的远程操作工作流程,允许开发人员使用少量人类演示数据来训练机器人。
英伟达创始人兼首席执行官黄仁勋表示:“人工智能的下一波浪潮是机器人技术,其中最令人兴奋的发展之一是人形机器人。我们推进整个NVIDIA机器人堆栈,为全球人形开发人员和公司开放使用最适合他们需求的平台、加速库和人工智能模型。”
借助NVIDIA NIM和OSMO加速开发
NIM微服务提供由NVIDIA推理驱动的预构建容器软件,使开发人员能够将部署时间从几周缩短到几周分钟。两个新的人工智能微服务将允许机器人专家增强模拟能力NVIDIA Isaac Sim™是基于NVIDIA Omniverse™平台构建的机器人仿真参考应用程序。
MimicGen NIM微服务生成合成运动数据
从像Apple Vision Pro这样的空间计算设备中记录远程操作数据。Robocasa NIM微服务生成机器人任务和模拟准备OpenUSD是一个在3D世界中开发和协作的通用框架。
现在可用的NVIDIA OSMO是一项云原生托管服务,允许用户跨分布式计算资源协调和扩展复杂的机器人开发工作流程,无论是在本地还是在云中。
OSMO极大地简化了机器人训练和模拟工作流程,将部署和开发周期从几个月缩短到不到一周。用户可以可视化和管理一系列任务——比如生成合成数据、训练模型、对类人机器人、自主移动机器人和工业机械手进行强化学习和大规模实施软件在环测试。
面向人形机器人开发人员的先进数据捕获工作
训练人形机器人的基础模型需要大量的数据。获取人类演示数据的一种方法是使用远程操作,但这正变得越来越昂贵和漫长的过程。
支持NVIDIA AI和全宇宙的远程操作参考工作流程;
在SIGGRAPH计算机图形学会议上展示,允许人工智能开发人员可以从少量远程捕获的人类演示中生成大量合成动作和感知数据。
首先,开发人员使用Apple Vision Pro捕捉少量远程操作演示。然后,他们在NVIDIA Isaac Sim中模拟录音,并使用MimicGen NIM微服务从录音中生成合成数据集。
开发人员用真实的和真实的方法训练Project GR00T类人基础模型合成数据,使开发人员能够节省时间,降低成本。然后他们使用Isaac实验室的Robocasa NIM微服务,一个用于机器人学习的框架,生成经验来重新训练机器人模型。在整个工作过程中,NVIDIA OSMO
无缝地将计算作业分配给di仟事件资源,从而为开发人员节省了数周的管理任务。
通用机器人平台公司傅里叶(Fourier)看到了利用仿真技术综合生成训练数据的好处。
“开发类人机器人是极其复杂的,需要一个令人难以置信的从现实世界中繁琐地获取大量真实数据,”傅立叶首席执行官Alex Gu表示。“NVIDIA的新模拟和生成人工智能开发工具将有所帮助引导和加速我们的模型开发工作流程。”
扩展对NVIDIA人形开发人员技术的访问
NVIDIA提供了三个计算平台来间化人形机器人开发:NVIDIA AI超级计算机训练模型;NVIDIA Isaac Sim基于Omniverse开发,机器人可以在模拟世界中学习和完善自己的技能;以及NVIDIA Jetson™Thor人形机器人计算机来运行这些模型。开发人员可以访问和使用平台的全部或任何部分来满足他们的特定需求。
通过新的NVIDIA人形机器人开发人员计划,开发人员可以获得抢先体验全新的系列产品,以及最新的NVIDIA Isaac Sim,NVIDIA艾萨克实验室、杰森·索尔和Project GR00T通用类人基础模型。Boston Dynamics, ByteDance Research, Fiel诶 AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, Robot Era和Skild A I是首批加入早期访问计划的公司。
“波士顿动力公司和英伟达有著长期的密切合作,共同推动技术发展,”Boston Dynamics代首席技术官亚伦·桑德斯说。“我们很高兴看到这项工作的成果加速整个行业的发展,而早期访问计划是获得一流技术的绝佳途径。”
可用性
开发人员现在可以加入NVIDIA人形机器人开发人员计划,以访问NVIDIA OSMO和Isaac实验室,并将很快获得NVIDIA NIM微服务。
关于英伟达
英伟达(NASDAQ: NVDA)是加速计算领域的全球领导者。