一个机器人研发团队要在真实环境中训练抓取任务，需要什么？一间装满传感器的实验室、数周的手工3D建模、无数次机械臂的物理碰撞测试。整套下来，足以让大多数高校实验室望而却步。
换到虚拟仿真环境来训练，成本倒是降了。但更大的噩梦在后面。仿真中跑得完美的策略，一部署到真实世界就全面溃败，性能断崖式下跌。过去近二十年，这个被称为Sim2Real的魔咒，一直是具身智能领域最顽固的死穴。
现在，这个死穴可能被彻底拔掉了。
日前，由斯坦福大学李飞飞团队、英伟达GEAR实验室、佐治亚理工学院、德克萨斯大学奥斯汀分校和多伦多大学等机构联合发布的全新系统SimFoundry，在机器人领域投下一枚重磅炸弹。它的核心能力只有一句话：用一段最普通的真实世界RGB视频，自动生成一个可交互、可训练、可评测的机器人仿真环境。
这不仅仅是一篇顶会论文。这是一种新范式的起点。
一场翻转因果的实验
SimFoundry的贡献，可以用一个坐标转换来概括：它打通了Real2Sim的完整闭环。
过去二十年，机器人训练长期困在一条单向通道里。研究者先在虚拟仿真环境中训练策略，再把策略迁移到真实世界，这就是Sim2Real。这条路的两个致命缺陷从未被真正解决。仿真环境依赖人工建模，搭建周期以周甚至月为单位。策略从仿真迁到真实世界时，因为光照、摩擦力、物体形变等细微差异，性能大幅折损。
SimFoundry的解法，是把整个问题翻转过来。它从真实世界出发，以一段RGB视频为唯一输入，让仿真自动生长出来。机器人在这个自建仿真环境中完成训练和评测后，再零样本迁移回真实世界。
实验数据给出了硬核的答案。
在7类典型操作任务和5种策略架构的全面测试中，SimFoundry的仿真评测与真实世界表现之间的平均皮尔逊相关系数达到0.911，平均最大排名违例仅0.018。两者都大幅优于此前最先进的真实-仿真评测框架PolaRiS。换句话说，SimFoundry在计算机里跑的测试结果，几乎能完美预测机器人在真实世界中的表现。
更重要的是，SimFoundry生成的数据不止是数字孪生。它还能自动生产海量的数字表亲，在保留场景功能语义的前提下，自动改变物体的外观、颜色、尺寸，更换场景布局和光照，甚至重新设计操作任务本身。效果是惊人的。单用数字孪生训练的策略，在引入物体表亲后，真实世界成功率提升17%。引入场景表亲再提升21%。引入任务表亲效果最为显著，提升高达40%。
你只需要拍一段视频，就能自动获得几乎无限的训练场景变体。
机器人训练的三重枷锁
要理解SimFoundry的重量，得先回到旧范式下的真实处境。
第一重枷锁是搭建成本。一个高保真仿真环境需要专业3D建模师、物理参数标定工程师甚至定制化传感器驱动的开发，单场景搭建耗费数天到数周，成本折合数十万元。对于绝大多数没有大厂资源的高校实验室和初创团队，这是真金白银铸成的门槛。
第二重枷锁是迁移折损。仿真环境再逼真，也是人造的。用行话叫域差异。真实世界的光照角度、表面摩擦系数、物体形变响应，都会让仿真中得分100%的策略在真实机器人上全面崩盘。这个Sim2Real gap行业讨论了近二十年，始终没有根本性解法。
第三重枷锁是数据多样性。手工建模的仿真场景，物体形态和空间布局是固定的。策略在固定场景中迭代训练后天然过拟合。研究者必须手动编辑场景、更换物体、调整任务参数才能获得基本的泛化能力，但这些操作本身又意味着新一轮的人力投入。
三重枷锁叠加，直接导致具身智能的训练效率被锁死在一个极低的水平上。
SimFoundry三步拆锁：从视频到无限场景
SimFoundry用一套三阶段Pipeline，把上述三重枷锁逐一斩断。
第一阶段是提取。系统输入一段RGB视频后，首先利用深度估计恢复三维点云，再通过视觉语言模型和SAM 3等分割模型，将场景中的每一个物体逐个识别、分割。每提取一个物体，系统就用图像修复技术将其从画面中擦除，再继续寻找下一个目标，直到视频中的整个场景被完整解析。这一阶段的本质，是让系统看懂视频里有什么、物体在哪里、它们之间在空间上如何排列。
第二阶段是生成。对提取出的每个物体，SimFoundry利用2D-to-3D生成模型构建三维网格，再结合FoundationPose等位姿估计模型恢复它在真实世界中的精确位置和朝向。遇到抽屉、柜门等关节物体，系统会自行推导其关节结构和运动范围。然后，系统补充质量、摩擦力等物理属性，生成碰撞模型并自动修复穿模问题，最终导出一份可以直接在Isaac Sim等物理引擎中运行的仿真场景文件。这个阶段产出的，是数字孪生。
第三阶段是增强。这才是SimFoundry最具革命性的设计。在数字孪生的基础上，系统自动生成数字表亲，从三个维度扩展训练数据的边界。
物体表亲改变物体的颜色、材质、尺寸，但保留其功能语义。红色的马克杯变成蓝色的、方的变成圆的，但它仍然是一个可以从架子上取下的容器。场景表亲重新排列物体位置、更换背景或照明条件。桌面上的物体从左边移到右边，灯光从暖色变成冷色。任务表亲改变操作任务本身。从叠放碗碟变成收纳马克笔，从扔垃圾变成整理抽屉。
三管齐下，一段真实视频的产出不再只是一个数字副本，而是指数级增长的可训练场景。
SimFoundry在π0.5-DROID上的实验印证了这一设计的有效性。仅用SimFoundry生成的仿真数据微调，策略在13个任务上的平均成功率从28%跃升至46%。更令人印象深刻的是在7个完全未见过的任务上，成功率从0%直接提升到29%。这不仅仅是复现，而是真正产生了泛化能力。
技术条件成熟的时间窗口
SimFoundry的发布不是凭空出现。它的背后，是多个技术路线恰好在同一时间窗口内走向成熟的巧合。
首先是视觉基础模型的质变。SAM 3和FoundationPose等分割和位姿估计模型，让从单目视频中精准提取物体级信息成为可能。两年前，类似操作的精度和鲁棒性都远不足以支撑自动化场景构建。其次是2D-to-3D生成模型的全面爆发，使得无需人工建模即可生成高质量三维网格成为工程现实。第三是物理引擎的开放化。Isaac Sim等仿真平台提供了标准化的可编程接口，让自动化场景构建有了落地的出口。
这恰好印证了SimFoundry论文中的一句关键论述。系统采用模块化设计，随着单个基础模型的进步，SimFoundry的整体性能可以自动提升，只需替换组件，无需重新设计架构。这是一种搭积木式的进化能力，意味着它的上限取决于整个视觉AI生态的演进速度。
产业格局的重塑信号
SimFoundry的问世，对不同市场玩家有着截然不同的意义。
对于机器人本体厂商和算法团队尤其是高校实验室，这是久旱之后的甘霖。过去，研发一个基础操作任务需要真机数据采集、人工标注、仿真建模、策略训练、真机部署、发现失败后修改仿真再重新训练的漫长循环。SimFoundry将这个循环压缩到了拍一段视频、自动生成场景、训练、部署。在DROID平台的对比测试中，π0.5模型使用SimFoundry仿真数据与少量真实数据联合训练，在叠放碗碟、收纳马克笔和扔垃圾三个真实任务上分别取得了100%、92%和96%的成功率，显著优于纯仿真训练或纯真实训练的单一方案。
对于仿真工具供应商，竞争逻辑正在改写。如果仿真环境可以自动从视频中生成，那么手工建模快又准作为核心竞争力的时代正走向终结。下一轮竞争的制高点，是谁能提供最精准、最快速的Real2Sim自动化能力。
对于英伟达，SimFoundry是一张关键的生态牌。通过将这份工作与Isaac Sim、Omniverse等底层平台深度耦合，英伟达正在从算力卖水人升级为具身智能基础设施平台的架构师。李飞飞团队的深度参与，则进一步强化了这套技术体系的学术权威性。
不是万能解，但坐标已经变了
当然，SimFoundry并非没有边界。目前系统生成的仿真环境主要面向桌面级精细操作任务，对于大尺度场景，比如仓储物流、户外导航、人形机器人的全地形作业，泛化能力还有待验证。系统对输入视频质量存在一定依赖，极端光照或快速运动条件下的重建精度也需要进一步优化。
这些局限，不影响大局的方向判断。
当仿真环境的构建成本从数十万元加数周手工劳作压缩到一段智能手机视频加全自动生成，机器人训练的范式就彻底改变了。那些曾经被高昂成本挡在门外的高校实验室、初创公司乃至个人开发者，都将被赋予前所未有的能力。
SimFoundry带来的最深刻启示是：与其焦虑如何让策略从仿真迁移到真实世界，不如先让仿真从真实世界中生长出来。Real2Sim不是Sim2Real的反向版本，而是对它的降维打击。当仿真环境具备了自动从真实世界学习的能力，Sim2Real就不再是一个迁移问题，而只是一个零样本验证问题。
机器人不需要被教会真实世界长什么样。它们只需要学会看一段视频。就够了。
快报