Chain-of-Action提出机器人模仿学习新范式！不再短视预测，而是从目标反向生成动作轨迹，显著提升机器人空间泛化与任务成功率。一项突破性进展！
原文标题：模仿学习新范式，Chain-of-Action：轨迹自回归实现动作推理
原文作者：机器之心
冷月清谈：
针对这一局限，字节跳动与阿德莱德大学的研究者提出了“动作链”（Chain-of-Action, CoA）。CoA 是一种基于轨迹自回归的机器人操作策略，其核心思想是受到“思维链”（Chain-of-Thought）启发，不直接从观察映射到执行动作，而是从最终目标反向自回归地生成完整的动作轨迹。这个过程从被称为“关键帧动作”的最终目标状态开始，迭代地生成一系列动作，直至当前机器人夹爪的位置。这种“从后往前”的生成方式为整个动作序列提供了强大的“全局-局部”结构约束，使得最终执行的动作被目标“锚定”，从而显著增强了模型的空间泛化能力。
为实现轨迹自回归，CoA引入了四项关键设计：采用连续动作表征以保证精细度；设计基于距离的动态停止机制以适应可变长度轨迹预测；通过反向时序集成进一步提高预测稳定性；以及在训练阶段使用多词元预测作为正则化手段。实验结果令人鼓舞，在RLBench大规模模拟基准测试中，CoA的平均成功率为55.2%，大幅超越ACT（38.9%）和DP（32.6%），尤其在高方差（更困难）和外推任务中表现出显著优势。真实世界实验在Fetch机器人上八项厨房任务中也验证了CoA的可用性，平均成功率达到61.3%。
CoA的提出证明，通过优化建模范式而非单纯增加模型规模和数据量，可以有效释放现有数据的潜力，为未来一代的VLA模型提供了新的建模思路。
怜星夜思：
2、Co-Action在空间泛化能力上提升显著，这意味着机器人能在更复杂的环境里干活了。大家觉得这项技术未来最早会在哪些实际场景中落地应用？比如物流、医疗还是家用？
3、这种“目的导向”的反向推理听起来很智能，如果机器人能这样规划动作，那我们未来跟机器人的协作方式会发生什么变化？是不是以后教机器人做事情会变得更像教人一样直观？
原文内容
-
论文标题：Chain-of-Action: Trajectory Autoregressive Modeling for Robotic Manipulation
-
主页链接：https://chain-of-action.github.io/
-
文章链接：https://arxiv.org/pdf/2506.09990
-
代码链接：https://github.com/ByteDance-Seed/Chain-of-Action
模仿学习的困境
具身智能（Embodied AI）作为人工智能领域的前沿方向，旨在赋予机器人或智能体在物理世界中感知、决策和行动的能力。近年来，尽管视觉 - 语言 - 动作模型（Vision Language Action, VLA）已经取得了诸多进展，但具身智能领域尚未迎来 「GPT 时刻」。越来越多的研究人员开始相信，仅仅增加模型规模和数据量似乎不足以创造出通用操作模型，如果我们想要充分释放现有数据的潜力，就需要找到更有效的机器人操作建模方法。
来自字节跳动 Seed & 阿德莱德大学的研究者追根溯源，对模仿学习的基本范式进行了反思，发现现有建模思路或许存在缺陷：经典方法如 ACT、Diffusion Policy（DP）都遵循 「前向预测」（forward-prediction）范式。而然这种方式不可避免地存在较大的复合误差（compounding error）。
在该范式下，策略通常被优化为基于当前观察预测短期的下一步动作，而非确保最终能够成功完成整个任务。虽然引入了动作分块（action chunking）等策略来缓解复合误差，但无法解决其固有的 「短视性」问题。
基于该局限，研究者提出了 「动作链」（Chain-of-Action, CoA）—— 一种基于轨迹自回归的机器人操作策略。与经典范式区分，CoA 并不直接由观察映射到执行动作，而是由从最终位置反向自回归的生成轨迹点，推理出可执行的动作。研究团队初步发现，仅仅通过修改建模方式，CoA 在与 ACT 保持相同的基本结构下，空间泛化能力显著提升。这种建模方式为具身操作策略的建模提供了新的思路。
核心思想：受到思维链（Chain-of-Thought）的启发，CoA 并不直接由观察映射到执行动作，而是在动作层面进行迭代式的推理。具体来说，CoA 逆向的生成针对目标任务的完整轨迹，这个生成过程统一在一个自回归网络下。自回归过程从 「关键帧动作」（keyframe action）开始，迭代地生成一连串完整的动作轨迹，直至当前的机器人夹爪的位置。
全局到局部一致性：这种 「从后往前」 的生成方式，为整个动作序列提供了的 「全局 - 局部」（global-to-local）结构性约束。因为每个后续生成的动作都以代表最终目标的 「关键帧」 为条件，所以最后执行的动作将会被最终目标所 「锚定」，空间泛化能力显著得到增强。
统一的自回归框架：CoA 将关键帧的识别和轨迹的生成统一在单一的自回归模型中，实现了端到端的训练和高效的闭环执行，并保持了可扩展（scalable）的潜力。
关键设计
为了实现轨迹自回归的想法，CoA 引入了四个关键设计：
连续动作表征（Continuous Action Representation）：离散化的动作表征会引入量化误差，为保证轨迹的精细度，CoA 采用了连续的动作表征并引入了 「潜在一致性损失」（Latent consistency loss）。
动态停止机制（Dynamic Stopping）：在连续动作空间中，没有传统的中止符（EOS token）来指示序列的结束。因此，CoA 设计了一种基于距离的动态停止机制，实现可变长度（variable length）的轨迹预测。
反向时间集成（Reverse Temporal Ensemble）：传统的时序集成策略基于前向时间假设，不适用于 CoA 的反向生成模式。CoA 通过反向时序集成，进一步提高预测的稳定性。
多词元预测（Multi-token Prediction, MTP）：动作局部依赖关系的建模可作为 「全局 - 局部」 一致性的补充。此设计仅在训练阶段作为正则化手段使用，在推理时移除，保证了效率。
实验验证
模拟环境测试
大幅超越基线：在涵盖 60 个任务的 RLBench 大规模拟基准测试中，CoA 的平均成功率达到了 55.2%，显著优于 ACT（38.9%）和 DP（32.6%）。相较于 ACT，CoA 在 81.7% 的任务中取得了更高的成功率，平均提升了 16.3%。相较于 DP，CoA 在 80.0% 的任务上表现更优，平均提升为 23.2%。
相关性分析：所有方法的成功率都随着物体空间分布方差的增大而下降，但 CoA 的下降趋势更为平缓，且其性能优势在高方差（更困难）的任务中更为明显。
空间泛化能力分析：研究者对泛化性进行了更细致的观察。以按按钮任务为案例，分别测试了 「内插」（in-distribution）和 「外推」（out-of-distribution）情况下各个模型的表现，结果显示，CoA 在外推场景下成功率约为内插情况下的一半，但对于 ACT 和 DP，外推任务几乎不能完成，这一定程度揭示了两种建模范式在空间泛化表现上的根本差异。
真实世界实验
研究者在一台 Fetch 机器人上，围绕 8 项厨房任务进行了部署和测试。观察来自单个 RGB 摄像头，策略以 10Hz 的频率运行，每个任务测试 10 次。实验结果显示 CoA 取得了 61.3% 的平均成功率，ACT 成功率为 46.3%，DP 的成功率 36.3%。这验证了 CoA 建模范式在真实世界中的可用性。
结论与展望
Chain-of-Action 提出了一种新颖的模仿学习范式，其核心是轨迹自回归建模。通过从一个代表任务目标的 「关键帧」开始，逆向生成动作序列，该方法为轨迹施加了一个强大的 「全局 - 局部」 结构约束，从而有效解决累计误差问题，提升机器人操作泛化性。全面的实验结果证明，在没有更多数据和增大模型规模的情况下，其在空间泛化能力相比传统范式取得显著提升。这说明一个合理的建模范式可以有效的释放现有数据的潜力。CoA 有望为未来一代的 VLA 模型提供新的建模思路。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com