李飞飞 Jim Fan和徐丹飞联合重磅论文：机器人灵巧手可能走错了路

人类对世界的李飞灵巧操控，远不止于视觉。飞J飞联

将薄卡片插入卡槽、和合重旋开锁具、徐丹从纸杯堆中分离单杯——这些看似简单的磅论动作，依赖的文机并非视觉识别，而是器人指尖传回大脑的压力与滑动反馈。然而在机器人领域，错路触觉长期被视为视觉的李飞灵巧“附属品”，决策核心始终由视觉主导。飞J飞联

随着具身智能与 VLA（视觉-语言-动作）模型的和合重爆发，机器人任务正从“看见并抓取”向“精准触摸与精细操作”演进。徐丹从 Physical Intelligence 的磅论 π0 到 NVIDIA 的 GR00T，再到 UC Berkeley 的文机 EgoScale，研究焦点逐渐转向翻书、器人插卡、拧灯泡等接触密集型任务。

研究者逐渐意识到，视觉仅负责定位，而操作成败往往取决于接触发生后的几十毫秒。因此，触觉被尝试引入 Transformer 和 VLA 框架，旨在赋予机器人类似人类的指尖反馈能力。

然而，现实给出了尴尬的反馈：当触觉传感器接入系统后，模型并未提升，反而出现抓取失误、动作犹豫甚至任务失败。在许多场景下，“无触觉”的表现优于“有触觉”。

这一反常现象引起了顶尖学术团队的关注。近期，来自 UC Berkeley、NVIDIA、斯坦福、松下等机构的研究者——包括斯坦福教授李飞飞、英伟达具身智能负责人 Jim Fan、佐治亚理工学院助理教授徐丹飞，以及 Pieter Abbeel、Jitendra Malik、Ken Goldberg、Trevor Darrell 等知名学者——联合发表论文《T-Rex: Tactile-Reactive Dexterous Manipulation》。该论文深入剖析了当前触觉融合方案的缺陷，并提出全新架构 T-Rex 以解决这一难题。

（来源：T-Rex）

为何加入触觉后性能反而下降？

当前主流机器人操作策略多基于 VLA 模型，核心为大型 Transformer 骨干网络。引入触觉时，最直观的做法是将触觉信号编码为 token，与视觉、语言 token 混合输入同一 Transformer。

然而，实验结果截然相反：在相同平台与任务下，将触觉力信号直接拼接至预训练 π0.5 模型，任务成功率从 17% 骤降至 6%。加入触觉不仅未提升性能，反而导致模型更易失败。

论文指出，核心矛盾在于频率不匹配：
* 视觉信号：更新频率约为 5Hz。
* 触觉反馈：需在 20Hz 甚至更高频率下才能有效发挥作用。

人类捏鸡蛋时，力度微调是毫秒级的。将时间尺度截然不同的信号强行塞入低频运行的 Transformer，不仅无法发挥触觉优势，反而会干扰视觉模态已学好的表征，导致性能退化。

简言之，问题不在于“触觉无用”，而在于“融合方式错误”。

T-Rex 的核心创新：从“模态融合”到“独立通路”

T-Rex 的核心突破在于重构触觉输入逻辑：将触觉从“另一种输入模态”重新定义为“另一条独立的控制通路”。

系统采用混合 Transformer 专家架构（Mixture-of-Transformer-Experts, MoT），将系统拆分为三个各司其职的专家模块：

（来源：T-Rex）

1. 潜在专家（Latent Expert）：处理视觉与语言观测，预测未来视觉表征，提供语义上下文。相当于“看清场景并预判后续发展”。
2. 动作专家（Action Expert）：以约 5Hz 低频运行，负责粗粒度动作规划。采用条件流匹配（Flow Matching）从纯噪声逐步去噪，生成中间状态动作方案（即“草图”）。
3. 触觉专家（Tactile Expert）：最关键模块，以约 20Hz 高频运行。接收实时触觉信号，在动作专家生成的“草图”基础上进行快速修正。它无需重新处理视觉/语言信息，而是直接复用前两个专家的缓存上下文，仅关注触觉即时反馈。

这种设计的精妙之处在于：视觉与触觉不再争抢注意力资源，而是在各自最佳频率下独立运作，通过级联去噪协同配合。动作专家完成前 6 步去噪，输出部分去噪动作；触觉专家接手，利用最新触觉数据完成剩余 4 步，输出最终可执行动作。

全新的触觉编码与数据策略

除了架构创新，T-Rex 在触觉信号编码与数据构建上也进行了革新。

时空触觉编码器（Spatial-Temporal Tactile Encoder）

同时捕捉两种互补信息：
* 力的时间动态：通过 VQ-VAE 将每根手指过去 16 帧的六维力向量压缩为紧凑离散 token，捕捉力变化趋势并抵抗传感器漂移。
* 形变的空间分布：通过轻量级卷积网络提取指尖形变图特征，捕捉接触面边缘、滑移及剪切模式。

两种信号拼接后构成触觉专家完整输入，既保留丰富信息，又适配 Transformer 高效处理规模。

T-Rex 数据集

团队构建了包含 100 小时双臂灵巧手遥操作数据的数据集：
* 覆盖 200+种日常物品与 22种运动基元（抓取、挤压、插入、擦拭、折叠等）。
* 包含 7,700+条轨迹，同步记录 RGB 图像、机器人状态、动作指令、触觉力信号和形变图。

图｜T-Rex 数据集围绕“动作 × 物体”组合构建（来源：T-Rex）

与针对特定任务录制数据不同，T-Rex 采用“动词-名词”组合思路：用 22 个动作原语搭配 200+ 物品，覆盖多样接触行为，使模型学习通用的触觉-动作对应关系，而非记忆特定任务模式。

三阶段训练策略

1. 大规模人类视频预训练：基于 EgoScale 方案，在 22,889 小时第一人称视频上预训练潜在专家与动作专家，获取广泛视觉运动先验。
2. 触觉中间训练（Mid-training）：在 100 小时 T-Rex 数据集上，适配动作专家至机器人平台，同时训练触觉专家。
3. 技能微调（Post-training）：针对特定任务使用约 100 条示范进行微调。

这种渐进式策略使触觉能力无需从头学习，而是在视觉先验建立后，以较少数据“嫁接”进来。

12 项任务评测：平均领先 30 个百分点

论文在 12 项需精细力控与接触感知的真实世界任务上评估 T-Rex，包括：翻书页、转移鸡蛋、擦盘子、挤牙膏、分纸杯、分拣麻将、开锁、填药盒、酸碱中和滴定、抽卡片、发扑克牌、拧灯泡。

结果显示：
* T-Rex 在所有任务中取得最高成功率，平均达到 65%，比最强基线 EgoScale（35%）高出 30 个百分点。
* 在翻书页、转移鸡蛋、分纸杯等任务上，成功率分别达到 96%、75%、78%。

图｜12 项真实世界灵巧操作任务评测结果（来源：T-Rex）

消融实验关键结论

• 移除触觉：平均成功率从 65% 降至 42%（下降 23%），证明触觉信号至关重要。
• 移除异步执行（同步运行频率）：性能下降 5%，验证频率解耦必要性。
• 数据效率：经中间训练的模型仅需 10 条任务示范即可达到可用水平，远优于未训练版本。

T-Rex 成功的关键要素

1. 频率解耦：视觉（~5Hz）负责场景理解，触觉（~20Hz）负责接触后细微变化感知，两者互不干扰，避免高频信号被低频模型“淹没”。
2. 分工明确：动作专家规划整体方向（“做什么”），触觉专家根据实时反馈微调（“怎么做更准”），各自发挥优势。
3. 计算优化：触觉专家复用动作专家缓存结果，无需重复处理视觉/语言信息，降低计算量，确保 20Hz 实时响应。

局限与未来方向

论文坦承当前局限：
* 长周期高精度任务：对于遥操作困难的场景，纯行为克隆受限于数据分布，未来需引入强化学习或在线交互。
* 硬件瓶颈：传感器漂移、标定差异、以及仅限指尖而非全手掌的感知覆盖，限制了系统上限。未来需探索跨异构传感器统一表征及更密集的全身触觉硬件。

核心启示

T-Rex 的核心启示可概括为：触觉不应是视觉的附庸，而应是一个独立的控制回路。

过去几年，“万物皆 token”的统一编码范式在视觉和语言上成功，但在处理高频、需即时响应的触觉信号时暴露弊端。T-Rex 的 MoT 架构提供了一种尊重信号物理特性的融合方式，为未来多模态机器人系统设计提供了新思路。

论文链接：https://arxiv.org/abs/2606.17055

项目主页：https://tactile-rex.github.io/

运营/排版：何晨龙

注：封面/首图由 AI 辅助生成

本文地址：https://www.dr-wine.com/html/140f12799732.html