新加坡国立大学突破：让机器人通过看人类视频就能学会精巧操作,自动化,计算机

 

与现有方法的对比显示了H2R-Grounder的显著优势。商业化视频编辑工具如Kling和Runway Aleph虽然在视觉效果上有一定表现，但在动作一致性和物理合理性方面表现较差，生成的机器人手臂经常出现结构变形或与环境物体的不合理交互。RoboMaster作为基于动画的方法，需要大量人工标注，在自然度和背景一致性方面都存在明显不足。

教育和培训是另一个重要的应用领域。通过将专家的操作技能转换为机器人演示，可以创建标准化的训练环境，让学习者在安全、可重复的条件下练习复杂技能。这对于医疗手术、精密制造等高风险领域尤为重要。

训练过程采用了一种叫做"情境学习"的策略。与传统的从头训练不同，这种方法只需要调整模型的一小部分参数（使用LoRA技术），就像给一个经验丰富的画家提供新的画笔技巧，而不是让他重新学习绘画。这样做的好处是既能快速适应新任务，又能保持模型原有的强大能力。

在训练数据的构建上，团队使用了Droid数据集，这是一个包含约76000个第三人称视角Franka机械臂操作视频的大型数据库。每个视频都被标准化处理成1280×720分辨率，并且帧率调整为每秒10帧，确保训练的一致性和效果。

一、创建机器人和人类之间的通用表达

人物分割和姿态估计是第一步。系统使用Grounded-SAM 2.1来精确识别和分割视频中的人物，同时运用ViT-Pose来估计人体姿态，定位手部区域。接着，HaMeR模型被用来精确估计手部姿态，确定手指和拇指的位置。研究团队将食指指尖和拇指指尖的中点作为手部位置的代表，将拇指的方向作为手部朝向的指示。

当面对一个新的人类操作视频时，系统首先需要提取出对应的H2Rep表达。这个过程包括几个关键步骤，每一步都经过精心设计以确保准确性和鲁棒性。

在视频修复技术的应用上，团队通过详细的对比实验选择了最适合的工具。Minimax-Remover在机器人手臂移除任务上的表现明显优于E2FGVI等其他选择，能够更好地保持背景的完整性和一致性。

尽管H2R-Grounder取得了显著成果，但研究团队也坦诚地指出了当前系统的局限性。最主要的限制是目前只支持单手到单臂的转换。在实际应用中，许多复杂的操作任务需要双手协调完成，比如拧开瓶盖、折叠衣物等。扩展到双手操作场景需要相应的双臂机器人数据和更复杂的协调机制。

A：H2R-Grounder是新加坡国立大学开发的一项突破性技术，能够让机器人通过观看普通的人类操作视频来学习各种精巧的操作技能，比如抓取、移动物品等，而不需要专门收集昂贵的机器人演示数据。

A：根据22名专业评估者的测试，H2R-Grounder在动作一致性、背景一致性、视觉质量和物理合理性四个方面都获得了最高分，生成的机器人操作视频不仅外观逼真，而且能够准确模仿人类的操作轨迹，实现合理的物体抓取和移动。

H2Rep表达方式的设计兼顾了信息保留和计算效率。相比于使用两路分离视频流（一路背景，一路轨迹），混合表达方式将计算和内存需求降低了四倍，同时保持了足够的表达能力。这种设计选择在实际部署中具有重要意义。

五、技术细节和创新突破

六、系统局限性和未来发展方向

Q3：H2R-Grounder生成的机器人视频效果如何？

四、实验验证和性能对比

Q1：H2R-Grounder是什么技术？

最后，系统将提取的手部轨迹渲染成与训练时相同的红点和蓝箭头形式，并使用相同的半透明混合技术叠加到背景视频上，形成完整的H2Rep表达。

Q2：这项技术如何解决人类手臂和机器人手臂差异很大的问题？

机器人学习一直面临着一个令人头疼的问题：如何让机器人像人类一样灵巧地操作物品。传统方法需要大量的机器人演示数据，这就像让一个新手学厨师，不仅需要无数次的实际操作练习，还需要专业的厨房设备和昂贵的食材。更麻烦的是，收集这些机器人数据既费时又费钱，而且往往局限在实验室环境中，难以应对现实世界的复杂情况。

另一个重要限制是机器人类型的特定性。由于训练主要基于Droid数据集中的Franka机械臂，系统目前只能生成这种特定类型的机器人操作视频。要适应其他类型的机器人（如不同的夹爪设计、不同的臂长比例等），需要针对每种机器人类型训练特定的LoRA适配器或重新进行微调。

情境学习策略是另一个重要创新。通过只训练轻量级的LoRA适配器而保持主干模型冻结，系统既能快速适应机器人视频生成任务，又能保持强大的泛化能力。这种方法使得模型能够处理训练时未见过的场景和动作，在面对网络视频的多样性时表现出良好的鲁棒性。

未来的发展方向包括几个重要方面。首先是扩展到更多机器人类型和操作场景，建立更通用的跨机器人转换能力。其次是提升计算效率，通过模型压缩、并行化等技术降低生成时间。第三是增强对复杂场景的处理能力，包括多物体交互、遮挡处理等挑战性情况。

在服务机器人领域，H2R-Grounder可以帮助家用机器人学习更多样化的家务技能。通过观看烹饪视频学习做饭、通过清洁视频学习整理房间，机器人的能力边界将大大拓展。这种学习方式更贴近人类的认知模式，也更容易被普通用户理解和接受。

人物移除环节使用了Minimax-Remover这一先进的视频修复工具。经过对比实验，研究团队发现这个工具在保持背景一致性和移除人物完整性方面都优于其他选择，如E2FGVI等。移除人物后的背景视频为机器人的出现提供了干净的舞台。