
物理AI基模的核心,是从真实经验中学习可迁移的物理规律,形成理解、预测和作用于物理世界的能力。真实世界的数据里藏着丰富的物理信息:互联网视频记录运动与环境演化,Egocentric呈现手物交互,真机轨迹记录动作与状态响应,力触反馈补充接触力、滑移与形变,不同数据共同提供了互补的物理经验。如何衡量、提炼和耦合这些数据中的物理特性,是构建物理AI基模亟待解决的基础问题。
围绕这一问题,智源研究院联合逆矩阵、北京大学、清华大学、北京航空航天大学推出悟界·PhysCapBench——首个覆盖第三人称场景、第一人称操作与手持夹爪示范三大领域,统一评测视频Caption物理信息的基准。
悟界·PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning跨领域视频描述物理信息评测基准
它从视频描述入手,统一度量描述对物理信息的覆盖与保真,为描述策略选择、标注质量评估和训练数据优化提供一把跨领域的“物理数据量尺”。

图1:悟界·PhysCapBench整体框架——跨领域数据、物理标注、描述评测与下游验证
世界模型缺的物理信息,可能就藏在一段Caption里。在世界模型预训练数据的建设中,我们持续观察到:面对第三人称场景、第一人称操作与手持夹爪示范等不同来源的视频,现有Caption往往能概括场景与动作,却未能充分保留运动、接触、状态变化及其时序关系;这一缺口不只存在于原始数据的简短说明里,也可能出现在更长、更流畅的自动生成描述中。语言表达的完整,并不等于物理信息的完整。
软胶玩具是一个典型例子(见图7):它被压扁后,会随压力解除逐渐恢复形状,受压、形变、卸载与回弹,共同构成这一过程的关键物理信息。在我们的生成对比中,使用物理描述时,结果更好地保留了玩具的立体形态与卸载后的恢复趋势;使用原始描述时,玩具在压力解除后仍呈现明显的扁平状态。Caption对物理过程的表达,直接关系到模型获得怎样的条件与监督。
悟界·PhysCapBench把预训练数据实践中的观察与思考,沉淀为跨领域参考描述、统一评价维度与下游验证流程:既评价Caption保留了哪些物理信息,也检验这些信息能否服务于视频生成与机器人策略学习,为多源真实数据转化为有效训练监督提供依据。
01 覆盖三类互补数据,建立跨领域评价框架
第三人称场景、第一人称操作与手持夹爪示范,从不同视角呈现物理过程,为世界模型提供互补的学习经验:第三人称场景重点覆盖物体运动、形变、相互作用与环境变化;第一人称操作关注人与物体的接触、操作过程及状态转换;手持夹爪示范则记录夹爪与物体的交互、操作阶段及执行结果。
我们把三类数据纳入同一评价框架,以物理信息的准确性与完整性作为共同的质量目标。基准共包含1,500段视频序列,每个领域各500段;对于多视角示范,同一次交互过程作为一段视频序列组织。

图2:第三人称场景、第一人称操作与手持夹爪示范中的物理过程

图3:三大领域数据概览02 七个评价维度,定位Caption的物理信息缺口
描述策略对任务目标、动作步骤和状态变化的覆盖各有侧重。悟界·PhysCapBench 从七个维度评价Caption,把整体质量落到具体的信息类型,为描述策略选择与标注优化提供依据。七个维度各自的检查重点如下。

图4:悟界·PhysCapBench的七个物理信息评价维度
七个维度合起来要回答的,其实是同一个问题:这段描述有没有把物理过程说清楚、说准。以下为第一人称操作领域的描述策略榜单,综合得分与七个维度分数一栏排开,可以直接看出不同策略的信息短板。

图5:第一人称操作领域描述策略榜单,综合得分与七个维度 Physis为内部测试03 以视频证据为基础,构建可核验的物理描述
物理过程通常跨越多个时间阶段:接触发生前的运动、接触后的形变,以及动作结束后的状态,往往需要结合连续的视频证据才能准确描述。因此,高质量的物理Caption需要同时满足信息覆盖与证据一致性——既保留关键变化,也确保描述能够在视频中得到支持。
悟界·PhysCapBench围绕这一要求组织参考描述构建流程:从全局观察与事件定位出发,逐步梳理参与对象、动作过程、接触关系和状态变化,再对描述内容进行核验,七名专业标注人员参与标注与质量检查。对于机制与因果信息,描述以可观察证据为基础;对于复杂操作,则重点检查阶段划分、交互关系与结果状态是否保持一致。

图6:基于视频证据的物理标注流程
通过这一流程,参考描述既服务于统一评测,也为后续描述生成和数据标注提供可复用的质量依据。
04 物理信息写得完整,下游模型表现能好多少?
描述质量的评价,需要进一步与下游效用建立联系:悟界·PhysCapBench从视频生成与操作策略两个方向,检验更完整的物理信息能否改善模型表现。视频生成方面,更完整的物理描述能提供更有效的生成条件。开头提到的软胶玩具案例,直观展示了不同描述条件下的生成差异。

图7:软胶玩具受压与卸载后的生成对比。左为真实视频,中为使用物理描述的生成结果,右为使用原始描述的生成结果
进一步,在固定生成模型、首帧与生成时长的条件下,分别使用原始数据描述和物理描述作为条件,比较生成视频与真实视频之间的感知差异。

图8:原始描述与物理描述条件下的视频重建指标对比。LPIPS与PVCS衡量感知差异,数值越低越好;连线连接同一模型在两种描述条件下的均值,绿色标注为相对下降幅度
物理描述在两个领域、两种生成模型上均带来改善。其中,第一人称操作领域的 LPIPS相对下降最高达到30.88%,PVCS相对下降最高达到28.09%。这些结果表明,描述中保留的动作、交互与状态信息能够形成有效的生成条件,帮助模型生成更接近真实视频的演化过程。
机器人策略方面,通过Training Instruction Upsampler丰富训练语言监督。它在原始任务指令的基础上,补充视频中可观察的动作过程、接触关系与状态变化,为策略学习提供更完整的语言监督;增强指令用于训练阶段,推理时仍使用原始简短指令。
下面的物理交互示例展示了操作过程中需要关注的状态变化:失败轨迹在操作与放置过程中使碗发生倾斜、翻倒,未形成稳定堆叠;成功轨迹则完成了三只碗的堆叠。

图9:RoboDojo 接触与放置示例,左侧失败、右侧成功
物体是否随夹爪稳定运动、接触后是否发生倾斜、释放后是否形成稳定支撑,都是操作过程中的关键状态信息,将这些信息纳入训练描述,有助于为策略学习提供比任务目标更充分的过程监督。
为评估训练指令增强的实际效果,我们在一个RoboTwin 2.0子任务中开展受控实验:使用同样的50条示范,对其中一半训练样本采用增强指令,π0.5 在40个共享测试初始场景中的成功次数从15次提升至18次,成功率由37.5% 提升至45.0%,提高7.5个百分点。在RoboTwin与RoboDojo的多任务评估中,四种策略模型的所选任务平均成功率均有所提升。
从生成条件到训练指令,两类实验展示了物理描述的下游价值,也为数据优化提供了依据:Caption的质量应与模型预测和执行所需的信息相联系。
05 总结
世界模型的数据建设,需要关注视频中有哪些物理经验,以及这些经验是否被完整、准确地转化为训练监督。悟界·PhysCapBench将预训练中的数据实践,沉淀为一把跨领域的“物理数据量尺”:通过三大领域的参考数据、七个物理信息评价维度,以及视频生成与操作策略的下游验证,它为描述策略选择、标注质量评估与训练数据优化提供统一依据。
从评测Caption的物理信息,到验证其下游价值,悟界·PhysCapBench为世界模型基座建设提供可复用的数据与评测基础设施。
官方网站
https://hfwang2001.github.io/physcapbench-site/
Github
https://github.com/hfwang2001/PhysCapBench
Hugging Face
https://huggingface.co/datasets/hfwang01/PhysCapBench
论文链接
http://arxiv.org/abs/2611.16424















