机器人也能学会"物理直觉"？清华大学团队让AI世界模型变得更聪明

  这项由清华大学的尚宇、汤银州、金磊、高晨、李勇等研究者与Manifold AI的张鑫、吴伟合作完成的突破性研究，于2025年6月发表在计算机视觉领域的重要会议上。

  有兴趣深入了解的读者可以通过论文标题"RoboScape: Physics-informed Embodied World Model"在学术搜索引擎中找到完整论文，代码也已在GitHub上开源。

  想象一下，如果让你闭着眼睛预测一个苹果从桌子上掉下来会发生什么，你脑海中大概会浮现出苹果下落、撞击地面、可能滚动几下的画面。这种对物理世界的"直觉"让我们能够预测和理解周围环境的变化。现在，研究人员正试图给机器人也赋予这样的能力。

  二、训练数据的精心"烹饪"过程

  要训练一个懂物理的机器人大脑，首先需要准备高质量的"食材"——训练数据。研究团队设计了一套完整的数据处理流水线，就像一个专业厨房的食材准备过程。

  原始的机器人操作视频就像刚从菜市场买回来的蔬菜，需要经过清洗、分拣、切配等多个步骤才能使用。研究团队首先使用专门的工具检测视频中的镜头切换点，确保每个训练片段都是连续的动作序列，就像确保每道菜的食材都新鲜完整一样。

  接下来，他们使用先进的视觉理解模型为每个视频片段添加动作标签。这个过程就像给每道菜贴上详细的说明标签：这是"抓取瓶子"，那是"关闭门窗"，另一个是"整理衣物"。这样的标签化处理让机器人能够理解不同动作的含义和目标。

  最关键的是，研究团队还为每个视频生成了深度信息和关键点轨迹数据。深度信息就像给每张照片添加了"等高线地图"，标明了每个像素点距离摄像头的远近。关键点轨迹则像在运动员身上贴满传感器，记录每个重要部位的运动轨迹。

  为了确保训练质量，研究团队还设计了严格的质量筛选机制。他们使用光流检测技术过滤掉运动模糊或静止不动的无效片段，使用智能评估系统筛选出动作清晰、语义明确的高质量样本。这就像一个挑剔的大厨，只选用最新鲜、最合适的食材来制作佳肴。

  三、"双脑并行"的技术架构

  RoboScape的核心架构采用了"双脑并行"的设计思路，就像人类大脑中负责视觉处理和空间理解的不同区域协同工作一样。

  第一个"大脑"负责RGB图像的生成，专注于创造视觉上逼真、细节丰富的画面。这个分支就像一个专业的画家，擅长描绘颜色、纹理、光影等视觉细节，让生成的视频在外观上尽可能接近真实场景。

  第二个"大脑"则专门处理深度信息，负责理解和预测场景的三维结构。这个分支像一个建筑师，关注的是空间布局、物体位置关系、前后遮挡等几何特征。它能够确保生成的视频在空间逻辑上是合理的。

  这两个"大脑"并不是独立工作的，而是通过精心设计的交互机制实现深度协作。深度分支会将学到的空间结构信息传递给RGB分支，帮助后者生成更符合物理逻辑的画面。这种协作方式就像一个电影制作团队中，技术指导会向导演提供专业建议，确保拍摄的场景在技术上是可行的。

  在这个双脑系统的基础上，RoboScape还集成了关键点动态学习模块。这个模块就像一个专门的"运动教练"，时刻关注着画面中的运动细节。它会自动识别运动最活跃的区域，然后加强对这些区域的学习，确保生成的视频能够准确模拟不同材质物体的运动特性。

  整个系统采用自回归的预测方式，就像一个连环画艺术家，基于前面的画面内容和当前的动作指令，逐帧预测接下来会发生什么。这种逐步预测的方式让机器人能够进行长时间的动作规划和预测。

  四、关键点追踪：捕捉运动的"精髓"

  在RoboScape的设计中，关键点动态学习可以说是最巧妙的创新之一。这个功能的灵感来源于人类观察运动的方式——当我们看到复杂的动作场景时，注意力往往会自动聚焦在运动最剧烈、最重要的部分。

  传统的视频生成模型就像一个"近视眼"的观察者，对画面中的每个区域都给予同等的关注，结果往往是"眉毛胡子一把抓"，无法抓住运动的核心特征。RoboScape的关键点学习机制则像一个经验丰富的体育教练，能够敏锐地识别出动作的关键环节。

  具体来说，系统首先会在视频的第一帧中密集地采样大量的候选点，就像在一张地图上撒下许多标记点。然后，它会跟踪这些点在整个视频序列中的运动轨迹，计算每个点的运动幅度。那些运动最活跃的点——通常对应于机器人手臂、抓取的物体、发生形变的材料等——会被选作"明星关键点"，接受系统的重点关注。

  这种自适应选择机制的妙处在于，它不需要人工预先指定哪些区域重要，而是让系统自己"看出"运动的焦点。当机器人在整理一条毛巾时，系统会自动聚焦于毛巾折叠、拧转的部分；当机器人在倒水时，系统会重点关注水流和容器的接触区域。

  更进一步，RoboScape还设计了一个巧妙的一致性约束机制。它要求被选中的关键点在不同时刻的视觉特征保持相对稳定——就像要求同一个人在不同照片中的面部特征应该保持一致一样。这种约束确保了物体在运动过程中的连续性和真实性，避免了传统模型中常见的"物体突然消失"或"形状突然改变"等不合理现象。

  为了进一步增强关键点区域的学习效果，研究团队还设计了注意力加权机制。在训练过程中，系统会给关键点区域分配更高的学习权重，就像一个学生在复习时会把更多时间花在重点章节上一样。这样，模型对于运动细节的理解和生成能力得到了显著提升。

  五、严格的实验验证：从多个角度检验效果

  为了验证RoboScape的有效性，研究团队设计了一套全面的测试体系，就像一个新药上市前需要经过多轮临床试验一样。

  在视频生成质量的测试中，研究团队使用了六个不同维度的评估指标。外观保真度通过PSNR和LPIPS指标来衡量，前者关注像素级别的精确度，后者评估感知层面的视觉质量。几何一致性则通过深度预测的准确性来评估，包括相对误差和不同精度层级的准确率。动作可控性通过比较有无动作条件时的输出差异来量化。

  实验结果显示，RoboScape在所有六个指标上都显著优于现有的基线方法。与专门的机器人世界模型IRASim和iVideoGPT相比，RoboScape在外观质量上提升了约25%，在几何一致性上提升了约40%。与通用视频生成模型Genie和CogVideoX相比，RoboScape在动作控制能力上的优势更加明显，提升幅度达到了60%以上。

  更重要的是，研究团队还进行了详细的消融实验，分别测试了移除深度学习分支和关键点学习分支后的性能变化。结果表明，这两个创新组件都对最终性能有显著贡献，而且它们之间存在协同效应——同时使用两个组件的效果要好于单独使用任何一个组件。

  在实用性验证方面，研究团队进行了两个重要的下游任务测试。第一个是使用生成的合成数据来训练机器人策略，测试合成数据的质量是否足以支持实际的机器人学习。实验表明，使用RoboScape生成的数据训练的策略性能接近使用真实数据训练的效果，而且随着合成数据量的增加，性能呈现出稳定的提升趋势。

  第二个测试是将RoboScape作为策略评估器，检验它能否准确评估不同机器人策略的优劣。研究团队训练了多个不同性能水平的策略，然后分别在真实环境和RoboScape生成的虚拟环境中进行测试。结果显示，两种测试结果之间的相关性达到了0.953，远高于其他基线方法的0.2左右，说明RoboScape确实能够提供可靠的策略评估。

  六、技术细节的巧妙设计

  RoboScape的成功不仅在于整体架构的创新，更在于许多技术细节的精心设计。这些看似微小的改进，就像烹饪中的调料搭配，虽然用量不大，但对最终效果起着决定性作用。

  在模型架构方面，研究团队采用了空间-时间Transformer块作为基础组件。这种设计的巧妙之处在于，它在处理时间维度时使用因果注意力机制（只能看到过去，不能看到未来），确保了生成过程的合理性；而在处理空间维度时使用双向注意力，让模型能够充分利用整个画面的上下文信息。

  在深度信息的融合方面，研究团队采用了分层融合策略。深度分支的特征不是在最后才加入RGB分支，而是在每个Transformer层都进行交互。这就像做菜时不是最后才加调料，而是在每个烹饪步骤中都适当调味，让味道更好地融合。

  关键点选择的动态性是另一个重要的技术亮点。系统不是固定选择某些预定义的点，而是根据每个具体场景的运动特征自适应地选择最相关的关键点。这种灵活性让模型能够适应各种不同类型的机器人任务，从精细的物体操作到大幅度的空间移动。

  在训练策略上，研究团队采用了多任务联合优化的方法。RGB生成、深度预测、关键点一致性和注意力加权四个目标函数被巧妙地组合在一起，通过精心调节的权重系数实现平衡。这种联合优化不是简单的线性组合，而是让不同任务之间产生正向的相互促进作用。

  数据预处理的curriculum learning策略也值得一提。研究团队将训练数据按照动作难度分为三个层级：基础的抓取推拉动作、中等难度的放置转动操作、以及高难度的擦拭折叠任务。模型从简单任务开始学习，逐步适应更复杂的场景，这种渐进式学习方式显著提高了训练效率和最终性能。

  七、实际应用中的表现

  当理论转化为实践时，RoboScape展现出了令人印象深刻的实际应用能力。研究团队在多个具有挑战性的机器人任务上测试了模型的表现，这些任务涵盖了从简单的物体抓取到复杂的多步骤操作。

  在Robomimic数据集的抓取任务中，使用RoboScape生成数据训练的Diffusion Policy达到了91%的成功率，几乎与使用真实数据训练的92%成功率相当。这个结果特别令人振奋，因为它意味着机器人可以在虚拟环境中进行大部分训练，大大减少了对昂贵真实数据的依赖。

  更具挑战性的LIBERO任务包含了复杂的多物体操作场景。在这些任务中，机器人需要在杂乱的环境中完成长序列的精细操作。使用RoboScape生成的800个轨迹数据，π0策略在空间推理、物体操作、目标达成和综合任务四个维度上的平均性能达到了79.1%，超过了仅使用200个真实轨迹训练的65.2%基线性能。

  特别值得注意的是，RoboScape生成的数据在处理布料操作等涉及复杂形变的任务时表现尤为出色。在布料整理和折叠任务中，传统方法生成的视频经常出现布料突然消失、不合理变形等问题，而RoboScape能够生成符合织物物理特性的连续形变过程。

  在策略评估的应用中，RoboScape展现出了作为"虚拟测试环境"的巨大潜力。研究团队训练了一系列不同收敛程度的策略，从250个epoch的初期版本到完全收敛的最终版本。当这些策略在RoboScape生成的环境中测试时，评估结果与真实环境中的表现呈现出0.953的强相关性。这意味着研究人员可以使用RoboScape快速筛选和评估策略候选，大大加速了机器人学习的研发周期。

  八、模型规模与性能的关系探索

  深度学习领域有一个重要的观察：模型性能往往随着模型规模和数据规模的增加而提升。研究团队系统地研究了RoboScape在不同规模下的表现，为未来的发展提供了重要的指导。

  在模型规模方面，研究团队测试了三个不同大小的版本：RoboScape-S（3400万参数）、RoboScape-M（1.31亿参数）和RoboScape-L（5.44亿参数）。实验结果显示出清晰的规模效应：随着模型参数量的增加，所有六个评估指标都呈现出持续的改善趋势。最大的RoboScape-L在视觉质量、几何一致性和动作控制能力上都显著优于较小的版本。

  在数据规模的研究中，团队使用不同大小的训练集（100万、300万和600万个视频片段）训练RoboScape-S模型。结果表明，增加训练数据能够持续提升模型的视觉质量和动作控制能力。有趣的是，几何精度指标在数据量增加时出现了轻微下降，研究团队分析认为这是因为较小的数据集容易导致模型过拟合到条件输入的最后一帧，人为地提高了几何评估分数，但实际上并没有学到有意义的时间动态。

  这些缩放实验的结果对于理解和改进物理感知的世界模型具有重要意义。它们表明，投入更多的计算资源和数据资源确实能够带来性能的提升，为未来构建更强大的机器人世界模型指明了方向。

  九、与现有方法的深度对比

  为了全面评估RoboScape的创新价值，研究团队将其与四个代表性的基线方法进行了详细对比，这些方法涵盖了当前机器人世界模型和通用视频生成的主要技术路线。

  IRASim作为专门的机器人视频生成模型，采用了扩散模型架构，能够根据机器人动作和轨迹生成相应的视频。然而，实验结果显示IRASim在所有评估指标上都表现不佳，特别是在长期生成时容易出现运动学习不准确的问题。

  iVideoGPT是另一个自回归的交互式世界模型，在架构上与RoboScape更为相似。虽然它在某些指标上优于IRASim，但在几何一致性方面仍然存在明显缺陷，说明仅仅依靠RGB信息难以建立准确的空间理解。

  Genie作为基础世界模型，在无监督学习的大规模视频数据上训练，展现出了不错的视觉生成质量。然而，由于缺乏专门的机器人动作理解机制，它在动作控制能力上明显不足。

  CogVideoX代表了当前先进的文本到视频生成技术，在视觉质量方面表现优秀，但由于不是专门为机器人任务设计，无法提供动作条件的控制能力。

  通过这些对比，RoboScape的优势变得非常清晰：它成功地结合了专业机器人模型的动作理解能力和先进视频生成模型的视觉质量，同时通过物理感知组件解决了几何一致性的关键问题。这种综合优势使得RoboScape在实际应用中具有显著的实用价值。

  十、技术局限性与未来发展方向

  尽管RoboScape取得了显著的进展，但研究团队也清醒地认识到当前方法的局限性，并为未来的改进指明了方向。

  当前RoboScape主要关注相对简单的桌面操作任务，对于更复杂的全身机器人运动、多机器人协作、或者涉及液体、颗粒物质等复杂物理现象的场景，模型的表现还有待验证和改进。物理知识的编码目前主要依赖于深度信息和关键点动态，未来可能需要引入更多的物理约束，如动量守恒、能量守恒等基本物理定律。

  在计算效率方面，双分支架构和关键点学习虽然提高了生成质量，但也增加了计算开销。如何在保持性能的同时提高训练和推理效率，是一个重要的工程挑战。

  数据依赖性仍然是一个需要解决的问题。虽然RoboScape能够生成高质量的合成数据，但它本身的训练仍然需要大量的真实机器人数据。如何减少对初始数据的依赖，或者利用其他形式的监督信号（如物理仿真器），是未来研究的重要方向。

  泛化能力的提升也是一个关键挑战。当前模型主要在特定的数据集和任务类型上验证，如何让模型适应全新的机器人平台、全新的操作环境、以及全新的任务类型，需要进一步的研究。

  最后，如何将这种世界模型更好地集成到端到端的机器人学习系统中，实现从感知、规划到控制的全流程优化，也是一个值得探索的方向。

  说到底，RoboScape的出现标志着机器人世界模型向着更加智能、更加符合物理直觉的方向迈出了重要一步。虽然距离真正的通用机器人智能还有很长的路要走，但这项研究为我们展示了一个充满希望的技术路径。当机器人真正拥有了对物理世界的深刻理解时，我们或许就能看到它们在各种复杂任务中展现出接近人类的灵活性和智慧。

  对于普通人来说，这项技术的最直接影响可能体现在服务机器人、工业自动化、以及各种需要精细操作的应用场景中。当家用机器人能够准确预测物体的运动、理解材料的特性、掌握操作的物理原理时，它们就能更好地帮助我们处理日常生活中的各种任务。从某种意义上说，RoboScape不仅是在教会机器人如何生成视频，更是在教会它们如何理解和预测我们所生活的这个物理世界。