从炒虾到做手术：ALOHA团队如何用ACT算法训练达芬奇机器人完成缝合打结

从厨房到手术室：模仿学习如何让通用机器人掌握精细操作

几年前，斯坦福ALOHA团队让机器人学会了炒虾、叠衣服，那些视频在社交媒体上刷屏时，很多人觉得这不过是实验室里的炫技。但真正关注这个领域的人知道，炒虾机器人背后那套名为ACT的动作分块算法，其意义远不止于厨房。最近，当同一批研究者将目光投向手术室，让达芬奇机器人自主完成缝合打结时，一个清晰的信号出现了：模仿学习正在成为打通机器人通用技能的关键桥梁。这不仅仅是技术的迁移，更是一种方法论的验证——从相对宽松的家庭环境到容错率极低的手术场景，算法需要跨越的不仅是物理距离，更是对精度、鲁棒性和安全性的极致要求。

对于从事具身智能或机器人研究的同行来说，ALOHA团队这条从“移动操作”到“手术操作”的研究路径，提供了一个绝佳的观察样本。它揭示了一个核心问题：当我们收集了人类演示数据后，如何设计机器人的“动作语言”，才能让它真正理解并复现那些精妙复杂的操作？尤其是在达芬奇这类本身存在硬件误差的平台上，这个问题变得尤为尖锐。本文将深入拆解这一技术迁移的过程，探讨模仿学习在手术自动化中的应用逻辑、面临的核心挑战以及那些巧妙的设计选择。我们会看到，真正的创新往往不在于算法的颠覆，而在于对问题本质的深刻洞察和工程上的精巧适配。

1. 手术机器人自动化的“理想”与“现实”

提起手术机器人，达芬奇系统几乎是绕不开的名字。它通过主从遥操作模式，将外科医生手部的精细动作过滤震颤后等比例缩小，传递到患者体内的微型器械上，已经成功辅助完成了数百万例手术。然而，“辅助”是关键词。当前的达芬奇本质上是一个高精度的人机交互界面，而非自主智能体。让机器人从“听令行事”到“自主完成”哪怕是最基础的缝合打结，中间隔着巨大的技术鸿沟。

为什么手术自动化如此困难？我们可以从三个层面来看：

• 任务的极端复杂性：手术操作并非孤立的点位运动。它是一系列连续、依赖上下文、且需实时根据软组织反馈进行调整的精细动作序列。例如打结，涉及线的抓取、环绕、拉紧，每一步的力度、角度和时机都需精准控制，任何一步的微小偏差都可能导致线滑脱或组织撕裂。
• 环境的极度不确定性：手术视野存在血液、水雾、器械反光等干扰；组织器官具有非线性形变、粘弹性等复杂物理特性；而且每次手术的解剖结构都有细微差异。传统的基于精确物理模型和规划的方法，很难应对这种高维、动态且难以建模的环境。
• 硬件的固有局限：即使是达芬奇这样的顶级平台，其前向运动学也存在显著误差（文献报道可达数厘米）。这源于其被动设置关节依赖于电位计测量，存在滞后和噪声。想象一下，你告诉机器人“手移动10厘米”，但它实际只动了9.5厘米或10.5厘米，这种不确定性对于需要亚毫米级精度的缝合操作是致命的。

注意：许多早期研究试图通过繁琐的“手眼校准”来补偿硬件误差。但这在临床大规模数据收集场景中不切实际——你不可能为每一台历史手术数据都做一次精准校准。因此，核心挑战转变为：如何在“不精确”的硬件上，训练出“精确”的策略？

ALOHA团队与约翰霍普金斯大学的合作正是直面了这一挑战。他们没有试图去修复硬件，而是转换了思路——既然机器人的绝对位置不准，那么它的相对运动是否更可靠？就像一个人蒙着眼睛，可能说不清自己手指的绝对坐标，但让他重复“向前伸5厘米”这个相对动作，却可以做得相当一致。这个朴素的观察，成为了整个SRT（Surgical Robot Transformer）项目的基石。

2. 动作表示：为不完美的机器人设计“语言”

模仿学习的流程通常是：记录人类专家的操作数据（状态-动作对），然后用这些数据训练一个策略模型，使其在遇到类似状态时，能输出正确的动作。这里，“动作”如何定义，即动作表示，至关重要。对于达芬奇机器人，糟糕的绝对定位能力意味着，直接让它学习“移动到某个绝对坐标”是行不通的。

SRT研究系统性地对比了三种动作表示方法，这堪称是工程智慧的一次精彩展示。

2.1 三种动作表示的对比与演进

我们可以通过一个表格来快速理解三种核心思路的差异：

以工具为中心的方法已经比以相机为中心的方法有了巨大提升，但它在一个关键环节上遇到了麻烦：大旋转下的平移。在针头传递任务中，机器人抓取针后，需要旋转约90度将针递给另一只机械臂。在以工具为中心的框架下，这个旋转会改变工具自身的“前”方向。策略网络需要从图像中实时解算：“现在我的‘前面’是图像的哪个方向？然后沿着这个方向移动一段距离。”这对于神经网络来说是一个额外的、困难的推断任务，经常导致平移错误，针头对不准。

混合相对表示巧妙地化解了这个矛盾。它规定：无论你怎么转，向前移动的“前”永远指向内窥镜视野里的某个固定方向（比如视野的上方）。这样，网络只需要学习“向上移动”这个与自身朝向无关的指令，大大简化了学习难度。旋转指令则仍保持相对性（“自身左转”），因为旋转的相对性通常比绝对性更一致。

# 伪代码示意混合相对动作的计算逻辑
# 假设 git 是当前末端执行器位姿 (SE(3)变换矩阵)
#       E 是内窥镜尖端固定坐标系
# 网络预测的混合相对动作 a_hybrid 包含：相对于E的位移 delta_p， 和相对于git的旋转 delta_R

def apply_hybrid_action(current_pose_git, predicted_action_a_hybrid):
    delta_p_E = predicted_action_a_hybrid.delta_position # 在E坐标系下的位移
    delta_R_tool = predicted_action_a_hybrid.delta_rotation # 相对于当前工具的旋转

    # 1. 应用平移：将E系下的位移转换到世界坐标系，再加到当前位置
    delta_p_world = transform_vector_from_E_to_world(delta_p_E)
    new_position = current_pose_git.position + delta_p_world

    # 2. 应用旋转：在当前旋转基础上叠加相对旋转
    current_R = current_pose_git.rotation
    new_rotation = current_R * delta_R_tool # 旋转矩阵乘法

    return new_pose(new_position, new_rotation)

这种设计选择背后，是对机器人硬件局限性的深刻理解和尊重。它不是用更复杂的模型去硬扛噪声，而是通过重新定义问题，让噪声的影响降到最低。这给我们一个启示：在具身智能中，算法与硬件的协同设计往往比单纯的算法提升更有效。

2.2 策略模型的选择：ACT与Diffusion Policy

有了好的动作表示，还需要强大的策略模型来学习状态到动作的映射。SRT项目同时尝试了两种先进的模仿学习算法：ACT和Diffusion Policy。这两者都源自ALOHA团队的前期工作。

• ACT：本质是一个基于Transformer的序列预测模型。它将一段历史观测（图像）编码后，直接预测未来一段时间内（例如C步）的一系列动作。它的特点是结构相对简单、训练稳定，在Mobile ALOHA上表现出了出色的多任务学习能力。
• Diffusion Policy：将图像观测作为条件，去噪一个随机初始化的动作序列。它通过迭代去噪的过程生成动作，理论上能产生更平滑、更符合多模态分布（即同一场景下可能存在多种正确动作）的策略。

在SRT的实验中，使用混合相对动作表示时，ACT的表现略优于Diffusion Policy。一个可能的解释是，在数据量相对有限（每个任务200-500条演示）且动作空间经过精心设计（混合相对表示已简化问题）的情况下，ACT这种更直接的回归方法能够更高效地学习到确定性较高的策略。而Diffusion Policy的优势可能在更复杂、演示数据更具多模态性的任务中才能完全发挥。

提示：这并不意味着Diffusion Policy不好，而是说明了没有放之四海而皆准的“最佳算法”。模型的选择需要与任务特性、数据规模、动作表示紧密耦合。在实际项目中，进行这样的对比实验至关重要。

3. 视觉感知的升级：腕部摄像头的关键作用

如果只使用固定的内窥镜第三视角，机器人就像只有一个主摄像头的司机，在完成侧方停车或穿针引线这类需要精确深度和相对位置判断的任务时，会非常吃力。SRT项目的一个重要发现是：增加腕部摄像头能显著提升精细操作的成功率。

在针头传递和打结的后期阶段，机器人需要判断针尖是否准确伸入了对侧器械的夹口中，或者线环是否套在了正确的位置。从固定的内窥镜视角看，这是两个物体的微小重叠，深度信息模糊。但从腕部摄像头——这个安装在器械末端的“第一人称”视角看，目标物体会随着机械臂的移动而清晰放大或缩小，提供了强烈的运动视差，极大地帮助网络估计深度和相对位置。

# 数据收集时，需要同步记录多个视频流
# 假设使用ROS系统，话题可能如下：
/endoscope_left/image_raw   # 左内窥镜视图
/endoscope_right/image_raw  # 右内窥镜视图（如使用立体内窥镜）
/wrist_cam_left/image_raw   # 左腕部摄像头
/wrist_cam_right/image_raw  # 右腕部摄像头
/joint_states               # 关节状态（不精确）
/tool_pose                  # 工具位姿（由不精确运动学计算得出）

消融实验表明，去掉腕部摄像头后，策略在精细子任务上的性能大幅下降。这强调了在机器人感知系统中，视角的多样性与感知算法本身同样重要。对于手术、装配等需要精细操作的任务，为机器人提供贴近操作点的“眼睛”，是提升其自主能力的一个高性价比方案。

4. 从演示到泛化：应对真实世界的复杂性

收集500次人类专家的打结演示，让机器人学会在干净的橡胶垫上完美复现，这已经是不错的成就。但手术室面对的是活体组织，有血有肉，形态各异。SRT研究没有止步于实验室环境，他们初步探索了策略的泛化能力。

研究者在两种更具挑战性的场景下进行了测试：

1. 未见过的3D缝合垫：改变了组织的几何形状和纹理。
2. 真实的动物组织：使用猪肉和鸡肉，引入了柔软、易变形、表面湿滑等全新物理特性。

评估结果既有鼓舞，也揭示了挑战：

• 定量上，在猪肉组织上进行针头拾取与传递，成功率仍然“相当高”，但运动质量和抓取精度相比实验室环境有明显下降。
• 定性上，观察到了在猪肉组织上成功打结的案例，证明了策略具备一定的泛化潜力。

这清楚地表明，当前基于有限演示的模仿学习，能够实现一定程度的域内泛化，但要达到临床级别的鲁棒性，还有很长的路要走。可能的改进方向包括：

• 数据增强与仿真：在仿真环境中生成大量随机化的组织模型、光照条件和干扰物，与真实数据混合训练。
• 引入力觉反馈：当前工作主要依赖视觉。整合腕部的力/力矩传感器数据，让机器人能“感觉”到线的张力和组织的柔软度，将是突破精度瓶颈的关键。
• 分层与序列学习：将打结这样的长周期任务分解为更简单的子技能（如“绕圈”、“拉紧”），并学习子技能之间的切换逻辑，可能比端到端学习整个序列更鲁棒。

5. 启示与展望：模仿学习作为通用技能引擎

ALOHA团队从炒虾到做手术的探索，其价值远超两个炫酷的Demo。它验证了模仿学习框架在截然不同的复杂操作领域间的可迁移性。ACT或Diffusion Policy这些算法本身并非为手术量身定制，但当与恰当的动作表示（混合相对）和感知系统（腕部摄像头）结合后，就能在全新的领域开花结果。

这对于机器人研究者来说是一个强烈的信号：与其为每个新任务从头设计专用算法，不如投入精力构建一个强大的、通用的技能学习基础设施。这个基础设施包括：

1. 高效且标准化的数据收集管道（如ALOHA的远程操作系统）。
2. 对硬件不完美性的建模与补偿方法（如创新的动作表示）。
3. 可扩展的策略学习架构（如Transformer-based模型）。
4. 丰富的多模态感知套件。

当这套基础设施成熟后，让机器人学习一项新技能的成本将大大降低——可能只需要收集数百次人类演示，调整一下动作表示的定义，就能得到一个可用的策略。这将极大地加速机器人在医疗、养老、家庭服务等复杂场景中的应用落地。

当然，手术机器人走向完全自主依然面临伦理、法规和安全性的巨大挑战。短期看，这类技术更可能以“高级辅助”的形式出现，例如在长时间手术中接管一些重复性高的标准化步骤（如连续缝合），让外科医生能更专注于关键决策。无论如何，SRT项目已经为我们推开了一扇门，让我们看到了模仿学习如何将人类双手的精巧，逐步转化为机器人系统的可靠能力。这条路还很长，但方向已经越来越清晰。