八月的南京，珠江路电脑城旁边那家开了十二年的咖啡馆里，一个做了七年灵巧手结构设计的朋友把杯子推到我面前，苦笑着说，他们团队花了十八个月调出来的五指手，能在仿真里以九十二 percent 的成功率完成拧瓶盖，可同一段操作录成人类视频喂给视觉语言动作模型，机械臂的复现成功率不到四 percent。算法同事抱怨视频质量不行，数据同事怪标注不够细，只有他盯着屏幕里那只机械手发呆——五根手指的比例明明照着人手扫描数据建的模，可弯曲时第二指节总是比真人慢零点三秒，拇指对掌的轨迹在笛卡尔空间里拐了一个人手上根本不存在的弯。他说那一刻他突然意识到，模型不是看不懂视频，它看懂了，然后驱动了一只形状不对的手去模仿一个形状正确的动作，错位从骨头里就开始了。

这正是IJCAI 2026上整个人类视频赋能机器人学习议题背后最刺痛人的地方。学术界构建了一套叫表征桥梁的统一框架，试图把互联网上规模惊人的人类操作视频转化为机器人可执行的动作知识。HowTo100M包含一亿三千六百万条视频片段，Ego4D积累了三千六百小时第一视角记录，相比之下Open X-Embodiment和DROID这些被称作大规模的机器人数据集在机器学习尺度上仍然只能算小数据。可当研究者把这些海量视频灌进模型，四道关卡横亘在面前：视频没有动作标签，没有本体感知信号，没有关节角度与末端状态，更致命的是，人类双手的运动空间与机器人的控制接口从根上就不兼容。前三道可以靠算法补，第四道却把问题从代码拽回了物理世界。

四条技术路线在这次会议上被反复讨论。潜在动作路线以LAPA为代表，不让模型直接标注动作，而是让它从视频像素中自行发现离散的动作token，思路优雅但解释性脆弱，高度压缩后的表征能否承载人手二十多个自由度的灵巧操作，连ICLR 2025的审稿人都打了问号。显式2D路线提取手部关键点、物体包围框、点轨迹和二维姿态序列，ATM、Magma、Gemini Robotics都走这条路，可缺少深度信息加上遮挡即失效，注定只能当辅助监督。显式3D路线借助MANO模型从视频里恢复手部三维运动，EgoVLA、H-RDT、Being-H0、VITRA都在这一层深耕，它几乎是所有视觉语言动作模型训练时百分之百需要的监督信号，但高质量3D标注成本惊人，野外视频的重建精度始终差一口气。最受关注的世界模型路线从GR-1到GR-2，后者用三千八百万条视频片段做预训练，进一步演进出世界动作模型WAM范式，让世界模型当感知骨干再由动作专家解码动作，可理论上的泛化优势还没有转化为匹配预期的效果，计算成本居高不下，知识从环境预测蒸馏到动作预测这一步始终不充分。

会议上一个被反复提及但很少被深入展开的判断是，这四条路线并非竞争关系，本质区别只是监督信号加在表征的哪一层。VLA加3D轨迹几乎是工业界标配，2D关键点做补充，世界模型负责打底。可无论信号加在哪一层，最终都要落到一个被长期低估的事实上：从视频中恢复出来的人手轨迹，驱动的是一只与人手结构完全不同的机械装置。冯志远在专访中把这一点讲得非常直白，他认为人类视频不会取代机器人数据，两阶段分工不可避免，先用视频预训练学通用能力，再通过post training适配到具体本体；而当前最大的技术鸿沟不是算法，是本体差异，是人到手机械臂之间的mapping问题。他甚至预判，随着未来灵巧手的发展，这个gap会逐步缩小，而缩小的路径之一就是通过硬件设计让mapping本身变简单。这句话从一个算法研究者嘴里说出来，在工业设计师听来分量格外重。

从形态设计的专业立场看，人手与机械臂的差异远不止自由度数量这么表面。一只健康的成年人手有二十七块骨骼、二十七个自由度（其中拇指五自由度、其余四指各四自由度）、三十多块肌肉提供驱动力，肌腱像索道一样在腕管里穿梭，腕关节的二自由度旋前旋后与手指的屈伸协同耦合，整个手掌在抓握时会根据物体形状产生被动顺应。而绝大多数工业机械臂的构型是串联六轴加平行夹爪或者欠驱动三指手，运动学拓扑是开链树状结构，关节轴线固定，驱动力来自关节处的电机或远端腱绳，没有真皮层的摩擦调节，没有指甲的力学楔入，没有指腹那层脂肪垫在接触瞬间提供的毫米级形变量。当视觉模型从视频里提取出一条人手拇指尖的三维轨迹，这条轨迹隐含了拇指腕掌关节那个独特的鞍状关节所允许的对掌旋转，可机械臂的末端根本没有这个关节，算法只能在六维笛卡尔空间里硬凑一个近似路径，凑出来的轨迹在接触点上会产生微妙但致命的法向偏差。一个在南京新街口地下通道用手机拍过煎饼摊主摊鸡蛋的人都能直观感受到，手腕的翻转、手指的收拢、拇指压铲边那一下，全是骨骼结构和软组织共同完成的，不是任何一条单纯的末端轨迹能概括的。

更深层的矛盾在于，人手的运动控制不是笛卡尔空间里的轨迹规划，而是在一个高维非线性 to low level muscle activation 的映射空间里完成的。神经科学研究早已证实，大脑运动皮层并不直接控制每一块肌肉的收缩量，而是通过运动基元的组合来生成动作，这些基元与人手的解剖结构深度耦合。MANO模型之所以能用低维参数描述手的完整三维姿态，恰恰因为它在统计意义上捕捉到了人手运动的低维流形——但这个流形是人手骨骼肌肉系统的产物。把MANO参数直接映射到机械臂关节空间，等于假设两种完全不同的形态共享同一个运动流形，这个假设在结构差异越大时崩得越厉害。冯志远说mapping问题是最大鸿沟，映射的不是坐标，是两套不同物理本体各自的运动学与动力学先验。

这就引出一个被算法社区长期忽视的设计命题：硬件本体的设计本身就在决定算法能走多远。江苏创品工业设计团队在长期的智能装备形态开发实践中形成过一套朴素的平衡观，叫让形态替算法分担难题。具体到机器人操作领域，这句话意味着灵巧手的设计不应该一味追求仿生外观，而应该从运动学等价性的角度去思考：哪些人手的自由度是完成常见操作真正不可或缺的，哪些是可以通过机构设计合并或代偿的，拇指的对掌运动是否应该被设计成机械手上的一个独立关节而非靠整个腕部去凑，掌弓的弧度是否需要用可形变的掌骨机构来复现。这种设计思路的目标不是让机械手看起来像手，而是让它在运动学流形上更接近手，从而大幅降低从人类视频到机器人动作的映射维度。当硬件自身的运动空间与人手运动空间的重叠度提高，潜在动作模型不需要去猜那些结构上根本不存在的补偿动作，显式3D轨迹可以更直接地映射到关节角，世界模型预测的接触结果也能更可靠地在本体上复现。

灵巧手近二十年的设计演进本身就是一部不断向人手机械本质妥协又不断寻找工程化出路的历史。早期Shadow Hand追求二十四个自由度的全驱动，腱绳传动系统复杂到需要外置的气动肌肉群，成本高昂且维护困难，更多活在实验室里。之后欠驱动思路兴起，通过耦合关节和自适应连杆，用更少的电机实现自适配包络抓握，Robotiq三指手和各类欠驱动五指手把可靠性拉到了工业可用水平，但牺牲了精细操作的灵活性。近年软体手用气动硅胶和形状记忆合金实现了被动顺应，能轻松抓取易碎和不规则物体，可刚度不足让它在需要精确力控的装配任务里力不从心。当前的前沿方向是刚性骨架加柔性关节加高密度触觉传感的混合架构，试图在精确控制与被动顺应之间找到新的平衡点。这个演进脉络背后的设计哲学其实与软件社区的四条路线隐隐对应：全驱动试图在硬件层面还原完整的人手自由度，对应显式3D路线对精细轨迹的追求；欠驱动用机构耦合压缩了控制维度，与潜在动作用离散token压缩动作空间异曲同工；软体手的被动顺应则像一种物理层面的世界模型，让环境本身参与计算。冯志远提到未来灵巧手发展会缩小本体gap，本质上就是在说硬件设计正在从不同方向向人手那个低维高效的运动流形靠拢。

会议上讨论的三大开放难题，从硬件本体视角重新审视会有不同的解法图景。视频切割难题要求模型基于语义和交互状态而非固定时间窗口来分割视频片段，这看似纯算法问题，实际上与本体的感知结构密切相关。人类之所以能自然地把一个长任务切成拿杯子、接水、拧盖子这些子步骤，是因为人手在每个子任务切换时会经历典型的接触状态变化，指尖压力分布、握力大小、手腕姿态都存在物理层面的transition。如果机械手在掌部和指腹配置了足够密度的触觉阵列，这些触觉信号就能为视频分割提供物理锚点，而不是纯靠视觉语义去猜。本体与视角双重差异难题目前主流方案是以交互结果即物体状态变化为锚点来对齐人类与机器人的动作，这确实是正确方向，但物体状态变化的检测精度严重依赖末端执行器的传感能力。一个指腹只有单点压力传感器的夹爪，根本无从感知玻璃杯里水位上升带来的重心偏移，自然也无法把视频中人类倒水时手腕微妙的倾斜角度与真实的物理状态建立联系。评测基准失效的问题更值得硬件设计者警惕，LIBERO、CALVIN、SIMPLER这些仿真基准里的物体集和任务集多样性远不及真实视频，模型在上面刷出的高分可能只是benchmark特有的过拟合，而过度针对这些基准优化本体设计，会造出一群只在仿真世界里灵巧的手。

微软亚洲研究院在这个方向上的布局提供了一个有意味的参照。他们做了近一年半，聚焦人类传感器数据与灵巧手操作，开源了VITRA这条显式3D路线，明确表示不做硬件。这个选择在研究逻辑上非常清晰，算法团队需要保持本体中立，不被自己的硬件绑死。但反过来看，当最顶级的算法研究团队都选择只做软件层面的表征桥梁，桥墩那一端的硬件本体谁来负责校准？冯志远在采访中明确说通过硬件设计让mapping变简单是缩小gap的关键路径之一，这几乎是在向硬件工业界发出邀请。一个成熟的产业生态需要算法团队在上面跑表征，也需要工业设计团队在下面调整本体形态，让桥墩两端的物理结构往中间靠，而不是让算法一方无限拉伸桥梁去够一个形状越来越奇特的对岸。

南京在这个产业版图里的位置值得一提。作为长三角先进制造业集群的重要节点，南京在智能装备、精密传动、工业自动化领域积累了深厚的供应链基础，江宁开发区和浦口经开区聚集了一批机器人核心零部件企业，高校的机械工程和工业设计学科持续输出人才。这种产业土壤使得从形态设计角度切入具身智能本体优化不是纸上谈兵，而是可以快速打样、验证、迭代的工程实践。在为智能装备客户做形态与人因工程咨询的过程中，我们越来越确信一件事，下一代机器人的竞争壁垒不会只在模型参数规模上，谁能率先设计出在运动学流形上与人手高度兼容同时在工程上可靠量产的灵巧本体，谁就能把表征桥梁的跨距缩短一半。这不是用更复杂的硬件去炫技，恰恰相反，是用更聪明的形态设计去简化算法需要解决的问题。

平衡设计方法论在这里提供了一个有用的思维框架。硬件与软件的平衡意味着，一个可以通过增加一个被动自由度解决的问题，不应该逼着模型用百万级参数去学一个映射；形态与智能的平衡意味着，身体的物理智能和大脑的计算智能应该协同分工，手掌的被动顺应、肌腱的弹性储能、关节的机械限位都是免费的计算资源，不能全浪费掉再让算法从零学起；通用与专用的平衡意味着，追求全人手自由度的复现可能是个工程陷阱，针对人类日常操作的统计分布设计出覆盖最高频任务的最小完备自由度集合，比堆出一个二十多自由度却处处妥协的手更有实际价值。这三组平衡不是口号，它们直接决定了从人类视频中学到的表征能以多大比例无损地迁移到物理本体上。

在会议茶歇时我和一位做VLA训练的年轻研究者聊天，他提到一个数据：同一个拧瓶盖任务，用同一段人类视频做预训练，在Shadow Hand上post training需要大约两千条真机轨迹才能收敛到可接受的成功率，而在一个经过运动学优化、拇指对掌轴更接近人手构型的新型五指手上，只需要不到六百条。三倍多的数据效率差距，没有一行算法代码改动，唯一的变量是手的形状。这个数字让我想起那个在咖啡馆里苦笑的结构工程师朋友，他花十八个月调的那只手，差的可能不是再多调几个月的控制参数，而是在最初草图纸阶段就应该被追问一个问题：这只手的骨骼拓扑，是否配得上它即将从视频里学到的那些人类动作。

具身智能的GPT三点五时刻可能还会很久，久到不仅仅是模型规模和数据量的问题。当算法研究者诚实地承认本体差异是最大鸿沟，当世界模型的理论承诺还需要更强的算力去兑现，当三条开放难题每一条都深一脚浅一脚地牵涉物理本体，工业设计师没有理由继续站在局外等一个完美的算法来适配我们设计的硬件。表征桥梁的桥墩，一半长在代码里，另一半长在骨头、关节和手掌的弧度里。把这一半桥墩浇铸得更贴近人手经过数百万年演化打磨出来的那个形态，机器人学会人类动作的那一天才会真正近一点。