机器人模型、
数据与控制

CHAPTER 01

名称核实与核心结论

先厘清 Sora 2、System 2 和机器人动作模型，再判断数据与训练发生了什么变化。

“OpenAI 的 S2 Model”可能对应什么

本轮对 OpenAI 官网和开发者文档的检索，没有找到正式名称为 S2 的独立机器人模型发布。最接近的名称是 Sora 2；机器人论文里的 System 2／S2 则常指负责理解与推理的模块。本报告同时覆盖这两条线，不把含混名称作为已经证实的发布。

OpenAI 于 2025-09-30 发布 Sora 2，强调视频物理表现、状态连续性及对失败的呈现。但发布页也明确承认模型仍会出错。它输出视频与音频，并没有在这份发布中给出机器人关节动作接口、完整策略训练配方或机器人数据规范。OpenAI：Sora 2

截至本报告日期，可用性已经改变：Sora 网页与 App 于 2026-04-26 停止提供，API 于 2026-09-24 停用。 旧发布页和模型卡仍可阅读；仍能搜索到旧价格或旧 API 示例，不代表服务还可调用。官方停用说明 · API 停用记录

OpenAI 的世界模型研究告诉了我们什么

2024 年 Sora 技术报告公开了一个高层思路：将图像、视频压缩为时空潜变量块，以 Transformer 扩散模型学习，并使用更详细的视频描述改善条件生成；它也列出物理交互与长时一致性的局限。这属于 Sora 初代的公开技术说明，不能当成 Sora 2 已披露的完整架构。 OpenAI：Video generation models as world simulators，2024-02-15

如果把问题转为“视频世界模型更强以后，机器人还缺什么”，答案是：还缺身体能执行的动作、准确的时间与坐标关系、真实接触后果，以及失败后的反馈。这是一条由机器人学习研究支持的工程判断，并非 OpenAI 发布的新数据采购标准。

读完整份报告，应带走的六个判断

1. 世界模型与动作策略解决不同问题。 前者预测某个动作之后会怎样；后者选择现在做什么。二者可以联合训练，也可以通过规划器连接。
2. 视频规模变大没有消除动作数据。 人类视频增加任务、环境与行为覆盖；机器人数据负责把这些知识落到具体身体、工具、控制器和接触过程。
3. “大脑／小脑”是职责比喻。 推理、动作生成、轨迹跟踪、电机与力控制存在不同时间尺度，不能凭一个演示推断它们被同一个大模型替代。
4. 2026 年数据组织更重视用途。 示范、失败、人工纠正、自主尝试、奖励、质量标签和长程记忆分别贡献不同监督，直接混做成功行为克隆会出问题。
5. 泛化必须说清对象。 新家庭、新物体、新任务、新身体、无微调、无人工接管，是不同难度的承诺。
6. 评测要回到闭环。 生成画面好看、离线动作误差小、单次录像成功，都不足以说明机器人能长时间稳定工作。

本报告的证据口径

官方发布说明团队宣布了什么、开放到什么程度；论文实验说明特定任务与测试协议下的结果；团队自述保留其原始口径；工程建议是跨来源综合判断。本次研究核查公开材料，没有独立下载运行这些模型，也没有进行实机复现。预印本不等于同行评审通过，课程开课不等于录像公开，研究预览不等于产品全面可用。

CHAPTER 02

最新进展与模型可用性

时间线覆盖到 2026 年 10 月 27 日，区分世界模型、机器人策略、推理模型和训练平台。

最近几个月，进展集中在哪里

下表是本轮核查到的重要进展选集，不是全球所有机器人发布的穷尽榜单。性能数字均来自发布方或论文作者，尚未在本研究中独立复现。

怎样理解这张时间线

第一，世界模型越来越像可交互环境。 Genie 4 代表新的研究方向，但机器人训练还要核查动作是否真正控制了未来、接触是否合理、策略是否利用了模型漏洞。不能从更逼真的演示直接跨到“可以替代实机数据”。

第二，人类数据与机器人数据正在形成组合。 Index 的清洗流程尤其有启发：先做技术、视觉与语义过滤，再做欺诈审计、相似片段去重、任务配额与聚类再平衡、分层文本标注。规模之外，覆盖和质量成为可解释的资产。

第三，“会做新任务”包含不同机制。 π0.7 强调技能组合与条件引导，S1 强调视频上下文；两者都不应只按一句“零样本”比较。比较前应列出：预训练见过哪些技能、测试时给了多少提示、是否有目标任务微调、是否人工纠错。

三个容易被误读的数字或名称

• Helix 2.5 的9%→56%：官方在固定下游数据、架构和训练评估下比较有无 Index 预训练；它支持该实验中预训练的价值，不代表每个家庭、每项任务都有56%成功率，更不是100%日用可靠性。
• S1 的66%：其协议允许人工恢复以继续累计步骤分数；不能改写成“66%的完整任务无人接管完成”。阅读时应连同原文评估说明一起看。
• GR00T N2：3月官方公告是预览并计划年底供应，本轮未确认全面开放。不要把 N2、DreamZero、N1.7 的研究、权重与商业可用性合成一个“已发布最新机器人脑”。NVIDIA 2026-03-16 公告

中国团队：开放模型与数据的新进展

智元 AGIBOT WORLD 2026 Release 4，2026-10-22。 这是一项物理推理数据发布：围绕相同目标、不同状态和约束组织执行分支，连接高层问答与低层轨迹。HF已出现PhysicalReasoning目录。许可为CC-BY-NC-SA-4.0，包含非商用限制；不能把公开数据误写成新模型权重。官方公告 · 实际数据目录

Robbyant LingBot-VLA 2.0，论文2026-07-07、仓库公告7月8日。 官方报告约6万小时预训练数据，包括5万小时机器人轨迹、1万小时人类第一视角视频，涉及20种机器人配置，并加入全身动作表示与未来预测。代码和6B权重已公开，标注Apache-2.0；本轮未确认完整预训练语料开放。论文 · 官方代码 · 权重文件

清华 RDT2，论文2026-02-03。 权重已在2025年9月先行发布，不能把论文日当首次权重开放日。它使用1万多小时UMI示范，结合动作编码、flow matching与蒸馏，提供VQ／FM路线和Apache-2.0代码／权重。跨身体部署依赖指定末端、腕部相机与标定，不能解释成任意机器人直接即用。论文 · 官方仓库及发布记录 · VQ · FM

这些例子也说明，“开放”必须跟着具体资产和许可写：代码、权重、部分数据、全部预训练集，以及商用权利，各有不同边界。

可以实际拿到什么

公开研究首先可从 GR00T N1.7 模型卡、Isaac-GR00T 代码、Cosmos 模型说明入手。Cosmos 仓库README当前列出的代码／模型许可为 OpenMDW-1.1；不要一概写成 Apache。GR00T 采用 NVIDIA Open Model License，必须按具体模型版本阅读许可。

“开放权重”“完整训练数据开放”“可商用”“能在自己硬件运行”是四个问题。 PI API、Figure、Skild、Google 受限动作模型，与可下载权重的路线，应按接入方式和可验证性分别评估。对于企业选择，还要问网络延迟、数据留存、模型升级和故障回退；本报告没有实测这些服务承诺。

CHAPTER 03

大脑、小脑与实时控制

用“拿起杯子并放入柜子”的完整任务，解释规划、动作、动力学、接触与反馈分别在哪里发生。

大脑负责什么，小脑又负责什么

“大脑”通常指任务理解、推理和长程规划；“小脑”通常指把目标变成连续运动的动作策略或控制技能。这不是统一的行业接口，也不严格对应生物解剖。一家公司叫 System 1 的部分，可能包含另一家公司拆开的动作生成与运动技能。

较具体的例子是 GR00T：N1.7 的模型资料描述视觉语言侧与 flow matching 动作 Transformer，输入图像、语言、本体状态和身体标识，输出连续动作块。NVIDIA 模型卡 这能说明 VLA 如何连接语义与动作，不能说明它已经替代编码器采样、电机伺服与独立硬件保护。

一次取杯任务的六个环节

1. 理解任务和环境。 识别杯子、柜门、可抓部位，判断是否需要先开门。需要场景几何、物体状态、任务语言和历史。
2. 制定下一步目标。 先开柜门、再抓杯、搬运、放置、退出。高层需要记录哪些步骤完成、失败在哪里、是否仍满足前置条件。
3. 生成动作。 策略输出一段末端位姿、关节位置或其他控制目标；动作接口必须和训练标签一致。输出“向左5”没有单位和坐标系就无法可靠执行。
4. 求解与检查。 根据机器人运动学做逆运动学、碰撞检查、速度与加速度约束；全身机器人还需要支撑、重心与平衡处理。
5. 闭环执行。 控制器根据实际关节、末端、力与触觉误差跟踪。接触杯子后，刚度、摩擦、握力和滑动都会改变行为。
6. 验证与恢复。 杯子是否真的离桌、是否放稳、柜门是否挡住手臂；抓空就重新定位，卡住就减力或退出。反馈继续进入高层和动作策略。

这六环是理解工具，不要求实现六个独立模型。MIT 的Robotic Manipulation教材把感知、规划、动力学和控制放在同一条操作链中；Stanford AA203则帮助理解最优控制与学习模型如何接合。

为什么不让大模型直接管每个电机

核心问题是时延、抖动、稳定性与可观测性。语义模型可以晚一点决定“把杯子放哪”；机器人即将滑倒或夹爪正在挤压物体时，反馈必须更及时。云端模型还存在网络延迟和断连。

工程上常见的量级示意是：任务规划按事件或较低频率更新；动作策略每次预测一小段轨迹；底层关节或力闭环可以工作在数百Hz乃至kHz。这不是所有机器人的统一参数。 应分别测量相机采样率、模型推理率、动作目标更新率、控制器频率和执行器响应，不能拿其中一个频率宣传整条系统。

例如，策略每次生成50个未来动作点，并以50Hz发送，不代表完整视觉语言网络每20毫秒完成一次推理。动作块缓解推理开销，也增加了“执行期间新情况还没反映进去”的风险，需要中途重规划、快速反射或缩短执行窗口。

控制理论仍然决定动作能不能落地

• 运动学：关节怎样对应末端位置；Jacobian 描述局部运动和力之间的关系；接近奇异位形时，同样的末端速度可能要求过大的关节速度。
• 动力学：质量、惯性、重力、摩擦、执行器限制影响运动。相同轨迹换了负载，不一定能用同样控制量完成。
• 阻抗／导纳与力控制：接触任务不能只追求位置误差为零，还要控制接触力、柔顺性和受阻后的响应。
• MPC：用模型预测未来，在约束下选择一段动作，只执行前段，再根据新反馈重新优化。世界模型可以提供预测，但预测误差会影响规划结果。
• 状态估计：相机、编码器、IMU、触觉各有噪声、延迟和盲区；估计错误会传到规划和控制。

这些概念可沿 CS223A、AA203和 MIT Underactuated系统学习。本段是跨课程的概念整理，不是某个最新模型已公开的全部内部结构。

OpenAI 相关的一个新例子：触觉上下文

2026-10-20 的第三方预印本 GPT-as-Tactile-Policy 将专家示范整理为任务指导和触觉参考，再由固定参数的 GPT-6 Astra 根据视觉、触觉与历史生成短段末端／夹爪目标，经通用IK控制器执行。作者在5项 UniVTAC仿真任务、每项100个固定测试episode中报告平均93.8%；这不是物理机器人成功率，也不是所有比较方法中均值最高者，另一触觉策略为96.2%。论文及方法 · UniVTAC仿真基准说明

这个案例更有价值的启示是：不更新模型参数，也可以借助专家上下文与在线反馈改善决策。 但它仍用任务示范、触觉参考和执行控制器；不能推导出“机器人数据不需要了”或“通用模型可以直接承担kHz伺服”。这是第三方研究，非 OpenAI 新发布的机器人产品，也不是本报告独立复现的结果。

CHAPTER 04

机器人模型是怎样训练出来的

从视觉语言底座、示范学习和动作生成，到目标身体适配、纠正学习、强化学习和记忆。

先把四种学习目标分开

策略学习解决“现在采取什么动作”；世界模型学习解决“采取某动作后会怎样”；价值／奖励学习判断状态或行为好坏；表征学习提取便于迁移的视觉、几何与接触特征。同一系统可以联合优化这些目标，但数据需求并不相同。

以符号表示：策略学习 π(a | observation, instruction, history)；动力学学习 p(next observation | observation, action)。前者若直接模仿大量失败动作，可能学坏；后者恰恰需要看到失败怎样发生。这就是为什么不能只说“把所有视频加进去训练”。

路线一：视觉语言底座 → VLA → 目标机器人

常见流程是先使用已有图文大模型学到语义与视觉表征，再加入动作输出，通过多任务、多机器人示范建立视觉—语言—动作对应，最后在目标身体与任务上适配。并非每家机器人公司都从零训练一个互联网级视觉语言模型。

经典 π0 把约3B参数的视觉语言底座与 flow matching 动作生成结合，展示了跨多种机器人学习连续动作的路线。这是 2024-10-31 的基线，应与2026版本区分。PI：π0

动作表示有两类常见选择：把连续控制量离散为 token，用自回归模型预测；或者用 diffusion／flow matching 建模连续动作分布。后者能表达“同一物体可以从不同方向抓”这样的多种有效解，避免把两条可行轨迹平均成一条不可行轨迹。Diffusion Policy 官方项目

这两条监督训练路线都需要可核验、清楚定义的动作监督。选择不只看模型名称，还应比较推理延迟、动作精度、序列长度、硬件部署条件与任务中的多解程度。

Action chunking 为什么重要

策略一次输出未来多步动作，而非只预测下一瞬间。部署时通常只执行其中一段，然后用新观测再预测。这可以提高动作连贯性、减少频繁推理；但长块会让系统对突然接触、滑落或物体移动反应较慢。

训练数据必须保留动作点的时间间隔、预测窗口和真正执行的部分。离线看一段动作很平滑，不代表闭环中延迟可接受。UMI 研究尤其强调观测／动作延迟的匹配，而不是只记录漂亮轨迹。UMI

路线二：从示范出发，补上自己犯错的状态

行为克隆（BC）通过示范学习动作；弱点是部署时模型会进入训练中少见的状态，误差继续积累。DAgger 的经典思想是，在学习者实际访问的状态上请专家给出纠正，并聚合为新训练数据。它是2011年的基础方法，今天仍能帮助理解干预采集。Ross等，AISTATS 2011

例如，专家的每次抓杯都很准，数据里没有“杯子已被推歪，夹爪半闭合”的画面；机器人偏离后就不知道怎么办。补一千次同样成功的抓取，未必比采一百次这种失败后的纠正更有效。这个数量例子只是解释机制，不是通用采集配额。

路线三：奖励、在线尝试与人类接管

强化学习利用结果反馈改进策略；奖励可以来自明确任务条件，也可由分类器或其他模型估计。HIL-SERL 展示了在具体实机操作任务中，结合示范、奖励分类与人类干预进行在线RL的路线。HIL-SERL

PI 于2025-11-17公开的 RECAP／π*0.6 结合示范、自主 rollout、专家干预和价值估计，让策略从经验中改进，而非把所有轨迹等权复制。PI：π*0.6

2026-03-19 的 RLT 则冻结VLA，用紧凑表示和较小actor／critic优化局部精细动作。官方以太网插接例子中的“15分钟”是机器人数据时间，总训练约2小时，含reset等开销。它说明“通用技能底座＋局部接触优化”是一条现实路线，不能改写成任何机器人15分钟训练完成。PI：RLT

Skild 的物理自博弈进一步说明，后训练数据也可以来自仿真交互与策略竞赛；但某个足球任务的迁移不证明所有家庭任务都可以无人监督自我提升。Physical Self-Play

路线四：为长任务训练记忆和进度

抓起一件物品可能只需几秒；收拾整张桌子需要知道哪些区域清过、物品被移到哪里、之前为什么失败。只保留独立短片，会丢失这些变量。

PI 2026-03-03 的 MEM 研究结合短期视觉历史与长期语言记忆，并提醒记忆也可能产生因果混淆。这意味着采集需要完整episode、阶段边界和必要历史，训练时还要检查模型是否依赖了错误线索。PI：Memory

一套可执行的训练闭环

以下是综合工程建议：定义任务与动作接口 → 留出独立测试集 → 少量采集与回放审查 → 预训练策略适配 → 闭环测试 → 保存失败与接管 → 定向补数据或RL → 重新测试。 每轮都保留数据版本、策略版本和同一口径的指标。

先从适合硬件和任务的现有策略出发，通常比从零训练“大而全机器人脑”更容易判断数据是否有效。是否继续扩大预训练、引入触觉、训练世界模型或在线RL，应由当前失败类型决定，而不是因为某个名词最新。

CHAPTER 05

不同数据各能教会机器人什么

普通视频、人类可对齐示范、真实机器人轨迹、仿真、合成与失败数据，不能只用小时数比较。

数据来源和用途的对应

人类视频不是“直接变成关节角”

PI 的 Human to Robot 研究把人类示范当作另一种身体，使用 3D手部位置表示动作，并与相关机器人数据混合；收益也依赖已有机器人数据的多样性。它支持人类数据的迁移价值，不支持“只喂普通YouTube视频，机器人就会执行所有任务”。PI，2025-12-16

跨身体迁移还要考虑对应关系：人类手腕的轨迹，可能超出机器人工作空间；人类用两个手指旋转的操作，夹爪可能根本无法复现。重定向得到的动作需要检查运动学、碰撞、速度和接触条件，而不是把关键点坐标直接发送给电机。

RSS2026 的 EgoVerse 摘要报告1362小时、8万episode、1965任务，强调统一采集与操作相关注释，并研究人类数据与机器人学习目标的对齐。这里核查的是正式论文集摘要，未逐一验证全部下载权限或复现实验。EgoVerse，RSS2026

开放数据和工具：可以从哪里开始

Open X-Embodiment 汇总百万级真实轨迹、22类身体，是跨机器人训练的重要历史基线。但统一存储格式不自动消除坐标系、单位、动作定义和控制器差异。Open X 官方项目

DROID 原始研究口径为76k轨迹、350小时、564场景和86任务；随后继续更新标定和语言注释。它说明已有数据的重新标定、修正和版本管理也会增加训练价值。原始RLDS、raw stereo／depth和第三方转换版不能混为同一数据版本。DROID 官方项目及更新

UMI 用手持夹爪与腕部相机采集可恢复的操作轨迹，重视相对轨迹、夹爪开度及延迟匹配；它比“拿GoPro拍人做事”多了一整套动作恢复和部署约束。UMI 官方项目

LeRobot 提供数据、策略与采集训练工具。Dataset v3 使用Parquet／MP4分片和元数据保留episode边界，包含state、action、timestamp、相机与统计等结构。它是工程工具与数据格式，不是单个统一机器人脑。Dataset v3文档 · 2026-02-26论文

2026 的新问题：多样性之外，还要“对应得上”

Data Analogies 的受控研究区分视角迁移与身体迁移：前者受益于广泛多样性，后者更受益于任务、场景和轨迹之间的配对类比。不能把不相关数据越多就越好当作普遍规律。论文，2026-03-06；3月20日修订

LDA-1B 在RSS2026摘要中描述30k+小时异质人类／机器人数据，并将动力学、策略、视觉预测联合建模。关键方向是给不同数据分配不同训练目标；其摘要说代码／数据将公开，本报告没有把未来承诺写成已验证可下载。LDA-1B

τ0-WM 研究联合未来视频与动作，数据包括真实遥操作、人类第一视角、自主rollout和失败，用模态监督区分训练信号。这是从“视频”连接到“行动”的具体研究，而不是Sora 2的机器人接口。预印本，2026-05-31首版，8月23日修订

采购或自采数据，应该问什么

以下是本报告的工程建议：先问去重后独立任务／环境／物体覆盖，再问动作可用性、时钟与标定、失败／接管比例、授权、训练测试隔离及完整采集成本。把“原始录像小时”“有效动作小时”“成功示范小时”“包含reset的人工工时”分别统计。

一个覆盖100个重复背景的长录像，和100个独立环境的短episode，训练意义不同；高帧率不会自动创造更多独立操作经验。没有跨平台通用的“至少多少小时就够”，应看独立测试曲线以及新增哪类数据真正减少了失败。

CHAPTER 06

新的数据要求与采集合同

一份面向团队采集、数据供应商和模型训练的工程清单；它不是 OpenAI 或其他厂商规定的标准。

从“有录像”到“可训练、可审计、可闭环”

机器人学习中，模型输出必须对应身体在某个时刻真正执行的控制量。世界模型越强，越需要能检验其预测与现实的对照数据。下面是依据前述研究整理的建议字段与质量门，应按任务裁剪，不是每个抓放任务都必须采集全部传感器。

一、Episode：把任务和结果说清楚

每条episode保留唯一ID、来源与使用授权、真实／物理仿真／生成合成标记、任务语言、初态、重置方式、物体与场景标识、操作者、机器人与工具版本、控制器与策略版本、开始结束、成功定义、实际结果和失败原因。

尤其区分：任务提前中止、发生故障、需要人工复位、超时、部分完成和完整成功。如果只保留“最后一帧看上去像完成”，训练与评测都容易高估能力。成功标签由人工、传感器规则还是VLM产生，也应可追溯。

二、时间：保留真正的因果顺序

每种传感器保存原始时间戳与统一时基映射；记录采样率、丢帧、插值和有效性mask。还应分别记录：观测采集、策略收到输入、推理完成、命令发送、控制器接收与执行时间。

例如，视觉里杯子已被夹住，而配对的动作仍来自接触之前，会把模型教成错误因果。把不同数据粗暴重采样为“30FPS”并不能解决这一点。应审查延迟分布和尾部，不只看平均值。

三、观测：当前世界与当前身体

• 基础：外部与腕部RGB、关节位置／速度、末端位姿、夹爪开度。
• 按任务增加：深度或点云、底盘／全身状态、IMU、力矩、触觉与工具状态。
• 为每种模态保留传感器标识、单位、原始校准和缺失mask；没有触觉的数据不能伪造一个全零触觉并当作真实“无接触”。

精密插接、拧动、刮擦、削皮、柔性物品操作，比简单刚性抓放更依赖接触信息。RSS2026的 SCFields连接视觉语义、接触估计及仿真到真实触觉对齐；CAP则展示以接触点条件与模块化技能组织任务的另一条路线。

四、动作：命令与实际响应必须分开

记录命令动作与测量到的执行结果；注明关节／末端／速度／力矩控制，绝对／相对动作，世界／基座／工具坐标系，米／毫米与弧度／角度，旋转表示、双臂顺序、有效自由度、动作窗口和执行频率。

还要保存控制增益、阻抗参数和限位等必要上下文。同样的末端位移命令，在不同刚度、负载与控制器下会产生不同接触后果。 训练时将这些差异抹掉，部署时模型就可能输出语义相同、物理效果不同的动作。

五、标定与身体：让跨平台转换可复查

保留相机内外参、手眼标定、机器人URDF／运动学、工具中心点、传感器与固件版本、校准日期。跨身体数据增加重定向方法、可达性和碰撞检查结果。

2026-10-13 的 Argon Robotics 示例在Real2Sim中对齐画面与记录的指尖力，人类视频示例也使用相机参数与3D手关键点；这说明“看起来像”之外，几何和物理测量仍是关键输入。Google Developers 官方示例

六、学习信号：失败要有用途标签

保留子任务边界、阶段目标、每步或阶段奖励、奖励来源、质量／速度／偏好标签、人工接管起止、接管前状态、纠正动作与恢复结果。长任务还需要必要的进度和历史。

成功示范可以教动作；失败轨迹可以教动力学和价值；接管片段可以教恢复。怎样进入损失函数、哪些模态有监督、哪些动作可模仿，必须显式设计。混合数据越丰富，越不能只靠文件夹名“train”概括。

七、世界模型：增加干预和反事实对照

不仅采集专家“正确做法”，还要采集安全范围内不同动作造成的不同后果：同初态不同抓法、局部偏差、执行失败、受阻、滑动与恢复；仿真保存物理参数、初态和随机种子；生成数据保留所依赖真实／仿真样本及过滤记录。

WorldEcho／WorldSync 的新研究尤其强调离开专家轨迹后的动作遵循问题。工程上，应有意识地覆盖部署策略真正可能访问的状态，而非要求生成视频永远展示顺利完成。论文，2026-10-23修订

八、拆分与版本：避免相邻帧“泄题”

训练测试至少按完整episode划分；根据泛化目标进一步隔离场景、物体实例、采集日期、操作者、身体与传感器。测试“新家庭”时，同一家庭不同房间不能未经说明分到训练和测试两边。

触觉尤其容易把同一次按压的近重复帧随机拆开，得到虚高指标。2026年的RCT研究为这种序列／材料／传感器层级划分提供了具体提醒。RCT 项目

建议的四道质量门

1. 入库门：来源与授权、格式、损坏、重复和任务覆盖可查。
2. 物理门：时间对齐、单位、坐标、标定、动作与响应能回放解释；异常不静默修正。
3. 学习门：成功／失败／接管用途明确，缺模态有mask，独立测试没有泄漏。
4. 闭环门：模型上机器人后，能在定义的场景范围内达到成功、延迟、恢复和接管指标。

这些门的阈值必须由硬件与任务确定。本报告没有替所有机器人规定统一毫秒误差、触觉频率、成功率或采集小时数。

CHAPTER 07

世界模型怎样帮助训练，又怎样验收

关键从“画面像不像”转向“是否听动作、物理是否成立、实机是否进步”。

世界模型的四种用法

一是视觉与场景增强：改变背景、光照、物体外观，扩展感知和策略训练分布；需要检查标签是否仍然有效。二是生成子目标：先产生某一步完成后的视觉状态，再让策略执行。三是动作后果预测：针对候选动作预测未来，供规划器或价值模型选择。四是交互训练环境：策略反复行动，模型生成后续状态，用于模型式RL或测试。

从第一种走到第四种，所需可信度明显增加。视觉增强可以容忍部分与控制无关的背景误差；用生成环境训练接触策略时，错误的摩擦或物体穿透可能直接教坏动作。

最新论文提出的一个尖锐问题：模型真的听动作吗

WorldEcho／WorldSync 首版2026-08-25，v2修订于 2026-10-23。研究在相同初态与动作条件下，用仿真真值分别比较画面完整性与末端轨迹遵循，增加跨状态重放、局部扰动、策略rollout和可行空间采样等非专家动作。它指出，只用专家数据训练的模型，偏离专家轨迹后可能忽略动作或破坏画面。论文与评估

这带来的直接启发是：如果换了动作，预测还沿着同一条“顺利完成”的故事走，它就不是可靠的动作模拟器。 研究提出增加动作覆盖、动作引起的状态监督及同初态不同动作对照；它仍是预印本，不代表所有物理一致性问题已解决。

避免把答案偷偷放进输入

Robot-Factored World Models 提醒，命令动作先经控制器和运动学变成身体运动，再影响环境。训练中应区分部署时可得的名义轨迹与真正未来状态；如果模型预测未来时已经读取了真实未来测量，评估会泄漏答案。论文，2026-07-24

相同原则也适用于视频子目标、成功标签和记忆：应记录哪些信息在决策当时可获得，哪些只能在任务结束后作为训练监督使用。

仿真到现实，怎样理解差距

传统物理仿真可以显式控制质量、摩擦、执行器和接触参数；视频世界模型擅长视觉分布与复杂场景表达。二者都有误差，不能简单用“生成式”或“真实感”判定谁更可信。

OpenAI 2019年的魔方手研究用仿真强化学习和自动域随机化，把环境参数逐渐扩大以提升迁移鲁棒性；同时明确最难打乱条件下完整成功率只有20%。它是理解sim2real的历史实例，并非2026的新发布。OpenAI：Solving Rubik’s Cube

今天的额外工作包括传感器延迟、触觉响应、柔性与磨损、工具变化，以及模型误差下的鲁棒执行。Stanford 2026 World Models for Robotics讲义把实时性、动作条件预测、物理合理性和模型误差连接到控制与规划，是很好的理论入口。

一个分层评估框架

以下是工程建议：

1. 感知与表征：目标位置、状态与接触识别是否正确，跨光照／视角／遮挡是否稳定。
2. 动作离线检查：单位、坐标、动作范围、延迟与轨迹可行性是否正确。离线误差小只是必要证据之一。
3. 模型可控性：同初态换动作，预测是否随动作合理改变；专家与非专家动作都要测。
4. 物理与接触：物体不凭空消失、不穿透；受阻、摩擦、滑动、碰撞与力变化在任务相关范围内可解释。
5. 实机闭环：在独立环境重复测试完整任务，记录失败和人工干预，而非只截取成功片段。
6. 持续运行：负载、网络、温度、标定漂移和耗材变化后，性能是否仍可接受。

发布一个成功率，至少交代哪些事

应该同时给出任务定义、身体与工具、场景范围、测试是否见过、是否微调、提示与示范、人工干预协议、样本数与失败计入方式。随后再报完整任务成功率、阶段通过率、耗时／吞吐、恢复率、每小时接管次数和连续无干预时长。

举例：10步任务每步独立95%成功时，全部完成约为 0.95^10 ≈ 60%。这只是解释长程误差累积的数学例子；真实步骤往往相关，也可能通过重试恢复，不能拿这个估算替代实测。

世界模型部署前，最值得做的对照

固定相同的策略、实机测试集和训练预算，比较“真实数据”“真实＋仿真”“真实＋生成数据”。看新增数据是否提高未见场景的完整任务成功，是否减少接管，是否引入新失败；保留负结果。若只改善生成视频的画质指标，却没有动作遵循或实机收益证据，应继续称为研究进展。

CHAPTER 08

Stanford 与 MIT 课程怎么选

同时标出课程学期、教材年份和录像权限；最新开课不等于所有视频已经免费开放。

先按问题选课

如果你想知道机器人为什么能稳定地动，先学运动学、动力学与控制；想知道如何从示范学动作，学模仿学习与RL；想搭建从相机到抓取的完整系统，学Manipulation；想理解视频模型怎样进入控制，读动作条件世界模型和MPC。

下面只列本轮已核实的官方资源。部分2026秋季课程还在进行，后续讲义和录像可能继续更新。

1. Stanford CS223A／ME320：机器人学基础

已核实学期：Winter 2026。 重点包括坐标变换、正逆运动学、Jacobian、动力学、关节／操作空间及力控制。它回答的是：模型输出动作之后，身体究竟如何运动、受力和跟踪目标。

官方课纲与排课可读，但页面说明教材及录像经Canvas／Panopto提供，不能包装成完整免费2026公开视频课。适合先有线性代数、微积分与基本力学，再沿课程主题补基础。官方课程

2. Stanford AA203：最优控制与学习控制

已核实学期：Spring 2026。 公开讲义与部分代码覆盖最优控制、LQR、MPC、系统辨识、模仿学习和RL；录像放在Canvas。它最适合连接传统控制与学习策略。2026课程

特别推荐 2026-06-05 加课《World Models for Robotics》：把动作条件预测与被动视频预测分开，连接到MPC、模型式RL和逆动力学，并讨论实时性及模型误差。它比“世界模型会改变机器人”的泛泛讨论更接近你关心的问题。直接打开讲义PDF

3. Stanford CS224R：深度强化学习

当前课程：Spring 2026。 新版slides、作业代码与项目资料公开；主题包括模仿学习、offline RL、model-based RL、分层RL／IL、sim2real与机器人强化学习。课程主页

主页所链公开YouTube是 Spring 2025录像。推荐将其用于基础学习，再对照2026讲义看更新；不要把上传于2025年12月的课程视频写成2026授课。官方公开视频播放表

学习时重点回答三个问题：行为克隆为什么偏离后容易失败；offline RL为什么受已有数据覆盖限制；在线RL如何控制采样、奖励与人类干预成本。

4. Stanford Principles of Robot Autonomy I

当前公开教学页：Fall 2026，AA174A／CS137A／EE160A。 覆盖运动规划、闭环跟踪、相机、定位与SLAM，有公开讲义、notebooks和ROS2说明；录像指向Canvas。适合补齐移动机器人与自主系统的基础。当期课程

注意这份公开本科课程页的课程号，不能直接标为研究生CS237A。课程所链2026教材预印本也可作为深入入口。教材PDF

5. Stanford CS231A：三维视觉补课

本轮打开的公开页面仍为 Spring 2025，适合学习相机标定、多视几何、深度、位姿与跟踪；它是感知基础资源，不是2026最新机器人控制课。公开课程笔记可用，未确认完整当季公开视频。CS231A

6. MIT 6.4210／6.4212：Robotic Manipulation

最新已核实课程：Fall 2026。 在线教材持续配合当期更新，覆盖感知、规划、动力学、控制、行为克隆与RL，配Python／Drake练习。适合用一个完整抓取任务把“大脑到控制”的概念连起来。当期课程 · 开放教材

公开讲义、problem sets和附加材料不代表录像也公开。官方课表明确：2026当季录像仅注册学生通过Canvas访问。录像权限说明

7. MIT 6.8210：Underactuated Robotics

本轮已核实的开放教材标为 Spring 2024；2025–2026目录注明该学年不开此课。它仍是理解非线性动力学、LQR、轨迹优化、接触、行走和平衡的重要基础资源，适合“小脑／全身控制”方向。开放教材 · 官方关联YouTube频道 · MIT开课目录

一个更实际的学习组合

• 控制与身体路线：CS223A主题 → AA203的LQR／MPC → MIT Underactuated接触和全身动力学。
• 机器人学习路线：CS224R模仿学习／RL → MIT Manipulation完整栈 → VLA与目标机器人适配。
• 数据与世界模型路线：相机与几何基础 → LeRobot／DROID数据结构 → AA203世界模型讲义 → 本报告的反事实与实机验收。

这是整理者建议，不是学校规定的先修顺序。对于没有控制基础的读者，不必一开始就追最大模型；能解释一次抓空、碰撞或延迟导致的失败，是后续理解数据价值的关键。

CHAPTER 09

YouTube 精选与带时间戳导读

两段短片已取得完整字幕或本地转录并通读；其余明确作为官方资料导读推荐。

先说明“看过什么”

本轮对 Gemini Robotics 2 取得人工英文字幕并完整阅读，对 Helix 2.5 下载公开音频做本地ASR并完整阅读。其余视频核查了官方入口或上传者元数据，未取得全文，下面的推荐理由不冒充完整视频总结。

视频展示的是作者选取的片段。判断可靠性时，应同时打开配套论文／博客的任务定义、失败与测试协议。

已全文阅读：Gemini Robotics 2

Google DeepMind，2026-07-30，约3分钟。 人工字幕57段，已读完整字幕，最后时间戳02:57。适合快速建立“全身动作、灵巧操作、推理协作”的能力地图。打开完整视频

• 01:12：全身控制，观察躯干与下肢如何配合操作。
• 01:28：灵巧操作，从简单抓放扩展到更复杂接触。
• 02:19：每台机器人各运行自己的模型栈，通过推理协调合作；不是一个低层控制器同时直接驱动所有机器人。

这是官方发布演示，不是独立泛化评测。具体任务成功率和不同模型的范围，应以配套发布及模型卡为准。

已全文转录阅读：Helix 2.5 的30个家庭

Figure，2026-09-17，约6分钟。 本地ASR90段，读至05:55；专有名词和数字用官方文章交叉核实。打开视频

• 02:20：转入30住宅评估。关注测试住宅没有训练数据，与任务是否在别处训练的区别。
• 03:44：Index人类数据。这是解释预训练来源的入口。
• 04:31：有无Index的对照。数字口径采用官方博客。
• 05:31：尚未完全解决。保留演示中的限制说明。

“在每个住宅都观察到成功”不等于所有试验都成功，更不能把精选成功片段作为无人值守可靠性证明。

最新研究／开发者视频：作为选看入口

以下未全文阅读，观看价值基于官方资料与元数据：

1. Genie 4：A new generation of world simulation。DeepMind 2026-10-27官方博客直接链接的最新世界模型演示。本轮只核对官方链接，未读全文字幕；视频可用性受YouTube客户端与地区影响。YouTube · 配套发布
2. Yuke Zhu：Building Generalist Humanoid Robots。ICRA演讲2026-06-03，原作者上传2026-09-26，23:42。适合研究真实、合成与互联网数据怎样支撑通用人形机器人。YouTube · 原作者slides · 实验室研究页
3. Power the future of robotics with Gemini。Google for Developers，Google I/O 2026，2026-05-21。适合看空间理解、仿真与动作模型在开发流程中的组合。YouTube
4. Intelligent whole-body control with Gemini Robotics 2。Google DeepMind，2026-07-30发布系列。集中观察全身动作协调。YouTube
5. Advanced dexterity with Gemini Robotics 2。Google DeepMind，同日发布系列。集中观察灵巧手与接触任务，再对照逐任务评测。YouTube · 官方模型页
6. Stanford CS224R Lecture 2：Imitation Learning。Spring 2025授课，2025-12-08上传。配2026 slides学习行为克隆与纠正数据的基础。YouTube
7. Stanford CS224R Lecture 11：Model-Based RL。Spring 2025授课，2025-12-08上传。适合补动力学模型、规划与模型误差的基础。YouTube

课程视频虽较早，理论用途并不过时；它们与最新发布演示的角色不同。应将“最近上传”“最近授课”“最近技术版本”分别看待。

观看研究演示时，带上五个问题

机器人是否在同一条未剪辑轨迹中完成？是否加速？中间有没有复位、接管或重新提示？测试物体／房间／任务在训练中见过吗？展示的输出是实际动作、仿真，还是生成视频？如果视频没有交代，记为未知，再查技术资料，不替作者补结论。

CHAPTER 10

如何把研究变成自己的判断与实验

按目标安排学习、数据与验证预算；从一个可衡量的小任务建立完整闭环。

如果你想做机器人数据业务

优先选择明确身体和任务，定义可训练交付物，再讨论规模。高价值方向可能是接触／触觉、长程失败恢复、跨身体成对示范、真实部署中的干预与结果，而不只是普通视频工时。

一份供应合同应列清：来源与权利、任务覆盖、传感器与标定、动作语义、时间误差、去重、成功与失败标签、完整episode、独立测试与版本修订。再用买方目标策略做小样适配，证明数据改善了哪类错误。

若需求方只要预训练视觉表征，动作标签可能不是必需；若交付目标是低层接触策略，普通视频很难替代动作、状态与力觉。先确认数据服务的是哪一个训练目标，才能判断成本和价格。

如果你想用现成模型控制机器人

先列出身体自由度、夹爪／灵巧手、相机、本体与触觉、控制接口和推理硬件，再筛模型。检查是否有该身体的adapter、示例数据、训练脚本、license及可运行checkpoint。

用固定任务建立传统或手工策略基线；再比较预训练策略适配，或通用模型通过有限工具／动作接口决策。把逆运动学、碰撞、速度／力限制、超时与硬件停止机制放在明确可检查的执行层；这些是正常控制系统的一部分。

实验阶段记录观察、模型输出、真正下发命令、实际响应、成功／失败和人工接管。若云端推理，测量完整往返时延与断连行为。不能用一次工具调用成功证明完整机器人部署可用。

一个“收拾桌面”的最小研究方案

下面是可调整的工程实验设计，不是已经完成的实机结果：

1. 定义范围：固定机器人与夹爪，先处理几类刚性物体；明确容器、工作空间、成功／中止条件与允许人工介入。
2. 固定独立测试：预留物体摆放、背景、采集日期和部分未见物体实例。不要每次看过测试失败后又把同一测试episode当新训练数据，却仍宣称它独立。
3. 跑通数据链：少量采集先验证时间、坐标和回放；看动作是否真的对应相机里的结果。
4. 建立学习曲线：逐步增加示范，比较同一口径的闭环指标；不是只看训练loss下降。
5. 分析主要失败：视觉定位错误、运动不可达、夹持滑落、接触过强、长程忘记进度、网络延迟，各自需要不同修复。
6. 定向迭代：视觉错补环境与标注；接触错补触觉／力与控制；偏离后不会恢复补干预；任务顺序错补记忆和阶段数据。
7. 再做泛化：分别扩大到新物体、新桌面、新房间、新任务和新身体，每次只清楚声明已经测过的边界。

样本量由任务方差、风险和验证预算决定。探索性少量试验用于发现系统问题；要声称可靠性，则需更充分、独立且可重复的测试及区间估计。

建议的四阶段学习路径

阶段一：把身体和闭环学明白。 读CS223A主题、AA203的LQR／MPC和MIT相关教材。产出一个能解释运动学、误差反馈、接触和时延的仿真任务。

阶段二：把数据链跑通。 阅读DROID／LeRobot格式，自己检查一次episode的图像、动作、本体状态和时钟；产出数据字典、回放与独立测试定义。

阶段三：理解模仿与改进。 学CS224R的IL、offline／online RL，再看VLA、RLT与干预方法；产出能说明“为什么当前失败、下一轮补什么”的对照。

阶段四：引入世界模型。 读AA203世界模型讲义与WorldEcho，先验证动作可控性，再研究生成数据是否带来实机收益。把画质指标、动作遵循和闭环成功分别报告。

关键术语速查

• VLM：视觉语言模型；理解图像和语言不自动等于会控制身体。
• VLA：视觉语言动作模型；将观测与指令连接到动作输出。
• Proprioception／本体状态：机器人自己的关节、末端、夹爪或全身状态。
• Action chunk／动作块：一次预测未来多步动作；其执行频率与模型推理率不同。
• Embodiment／身体形态：结构、自由度、执行器与传感器共同决定的能力边界。
• Retargeting／重定向：将一种身体的动作映射到另一身体，需要可行性验证。
• BC／行为克隆：从示范预测动作；部署分布偏移是重要问题。
• Rollout：让策略连续执行一段任务，得到自己的状态、动作与结果。
• Offline RL／在线RL：分别主要利用已有经验，或通过新交互收集经验改进策略。
• World model／世界模型：预测环境演化；机器人用途尤其关心动作条件和物理一致性。
• Sim2real：从模拟迁移到真实，涵盖视觉、动力学、接触与系统延迟。
• MPC：模型预测控制；预测、优化、执行前段，再观察重算。

研究覆盖与仍未知的部分

本轮覆盖OpenAI世界模型与停用信息、Google／NVIDIA／PI／Figure／Skild、智元／Robbyant／清华公开材料、相关2026论文、Stanford和MIT的7组课程资源，以及YouTube精选。最新重要发布核查到2026-10-27；不同资源的原始年份均保留。

没有访问厂商私有训练集、购买API、下载运行全部权重或做独立实机测试；课程登录后内容未绕过权限。两段短视频读了完整字幕／转录，其余仅作导读推荐。对于未公开的数据配方、参数、完整评测或费用，保留未知。

如果后续有具体机器人、任务与预算，最有价值的下一步是把这些资料收敛成身体接口、采集合同和对照实验。模型名称会更新；能否解释数据怎样改变动作，以及怎样被实测验证，才是可持续的判断能力。