利用 NVIDIA Isaac 构建具身智能数据工厂

合作伙伴：英伟达
时间：2024
应用技术/产品：PN Studio 惯性动作捕捉套装, HybridTrack 运动测量系统
应用类型：具身智能人形机器人

项目概述：借助 NVIDIA Isaac Sim & Isaac Lab 平台开放度极高的系统架构以及提供的丰富资产与数据生态，诺亦腾与机器人领域的多家企业/研究机构一起，以极高的开发效率，打通动作捕捉/运动测量系统与机器人虚拟本体/真实本体之间的工作回路，打造出一个真正意义上的 HITL 解决方案。该方案可以让包括科研工作者、企业级用户在内的各个级别开发者，高效、便捷地将实时动作捕捉和高精度实时追踪能力引入既有工作流。 基于自定义的 MocapApi 接口，诺亦腾实现了动作捕捉系统与 NVIDIA Isaac Sim 的数据联通，从而基于现有算法，快速接入动作捕捉和高精度追踪数据流，实时驱动仿真环境下的虚拟机器人本体或者真实的机器人本体，用遥操作的模式完成任务，采集数据。除此之外，还可以在机器人自主任务完成的过程中实现快速人工干预覆盖失败场景。同时，高精度的人体动作数据采集和大空间的高精度追踪记录了整个实验环境的过程，为后期的算法调优、复盘、量化评估等环节带来了更多可能性。