中科院一区研究 | 浙大提出遮挡人机协同装配人体姿态估计方法，光学动作捕捉提供高精度人体姿态真值验证
【导语】
在工业人机协同装配场景中，遮挡严重影响人体姿态估计的准确性。浙江大学机械工程学院研究团队在中科院一区期刊 Robotics and Computer-Integrated Manufacturing 发表研究，提出一种面向遮挡人机协作场景的视觉-惯性融合人体姿态估计方法。研究中，NOKOV 度量光学动作捕捉系统提供高精度人体姿态真值数据，用于验证方法在真实装配环境下的有效性与鲁棒性。
一、人机协同装配中的核心挑战：遮挡下的人体姿态估计
在人机协作（HRC）装配过程中，机器人与操作人员近距离协同作业，人体常被设备、工装或机械臂部分遮挡，导致传统基于视觉的人体姿态估计（HPE）方法精度下降。
针对遮挡人机协同装配场景中的人体姿态估计问题，浙江大学研究团队以工业制造真实需求为背景，探索更具鲁棒性与可部署性的解决方案。
二、视觉-惯性融合的人体姿态估计方法设计
1.视觉-IMU 融合的人体姿态估计框架
论文提出一种基于视觉-惯性融合的人体姿态估计方法，以单个 RGB 相机和稀疏 IMUs 作为输入，在保证估计精度的同时兼顾操作人员的舒适性。
人机协作框架结构
该方法通过多模态数据互补，有效缓解视觉遮挡对人体关键点识别带来的影响。
2.跨模态变换器融合块设计
研究进一步设计了一种基于特定部位的跨模态变换器融合模块，用于整合不同模态下的人体空间特征，增强视觉与惯性信息之间的协同表达能力。
三、实验验证：公共数据集与真实装配场景表现
遮挡装配场景下的实验验证结果
人机协同：工业 HRC 装配箱任务流程图
研究在两个公共数据集、一个合成遮挡数据集，以及自建的人机协同装配 HPE 数据集上进行了系统实验。
展示了数据集中的六种收集动作（a-f）及遮挡情况（a、c、f）
与不同 HPE 方法在自定义数据集上的定性比较。（黑色虚线：真实姿态；红色实线：估算姿态）。
在自定义数据集中，NOKOV 度量动作捕捉系统用于采集包含视频、IMU 数据与 3D 人体姿态真值的完整实验数据，结果表明该方法在遮挡环境下展现出更高的估计精度与鲁棒性。
四、NOKOV度量动作捕捉在姿态估计实验中的关键作用
基于光学动作捕捉的高精度姿态真值获取
人机协作实验数据采集系统设置，NOKOV度量光学动作捕捉系统
在实验验证阶段，研究团队使用 NOKOV 度量光学动作捕捉系统 获取高精度人体三维姿态真值数据，用于评估所提方法在不同遮挡条件下的人体姿态估计精度。
NOKOV度量动作捕捉系统在以下方面发挥关键作用：
提供亚毫米级精度的人体姿态真值
支撑多模态人体姿态估计方法的定量评估
验证视觉-惯性融合方法在真实装配场景中的可靠性
五、人机协同场景中，遮挡环境下人体姿态估计方法FAQ
Q1：遮挡环境下如何实现高精度人体姿态估计？
A1：在遮挡严重的人机协同装配场景中，通过融合视觉信息与惯性传感器数据进行人体姿态估计，并结合光学动作捕捉系统提供的高精度姿态真值进行验证，可显著提升估计结果的鲁棒性与准确性。
Q2：光学动作捕捉在人体姿态估计研究中起什么作用？
A2：光学动作捕捉系统如 NOKOV度量动作捕捉系统可提供高精度三维姿态真值，作为验证新型人体姿态估计方法的基准手段。
Q3：视觉-惯性融合在人类姿态估计中的优势是什么？
A3：视觉-惯性融合的人体姿态估计方法能够在单目视觉受限或被遮挡时，利用 IMU 数据补充人体运动信息，从而在保证系统可部署性的同时提高姿态估计稳定性。
Q4：人体姿态估计方法通常如何进行精度验证？
A4：人体姿态估计方法的精度通常通过光学动作捕捉系统获取的三维人体姿态真值进行评估，该方式已成为验证工业人机协作与复杂装配场景下算法性能的可靠手段。
六、论文及作者简介
本研究成果“A deep learning-enabled visual-inertial fusion method for human pose estimation in occluded human-robot collaborative assembly scenarios” 发表于中科院一区期刊 Robotics and Computer-Integrated Manufacturing，作者团队来自浙江大学、普渡大学、瑞典皇家理工学院等国际顶级机构。
作者简介
王柏村（通讯作者），浙江大学机械工程学院副院长、百人计划研究员、博士生导师；
宋词，浙江大学机械工程学院博士研究生；
李兴宇，普渡大学工程技术学院助理教授；
周慧颖，浙江大学机械工程学院博士研究生；
杨华勇，中国工程院院士、浙江大学工学部主任、机械工程学院教授、博士生导师；
王力翚，加拿大工程院院士、瑞典皇家理工学院可持续制造学教授及系主任。
该研究为人机协同装配中的人体姿态估计问题提供了可落地的技术路径，也展示了NOKOV 度量动作捕捉系统在高端机器人与智能制造研究中的真值支撑能力。
声明：本文仅代表发布者个人观点,并不代表本站赞同和对其真实性负责，如涉及交易请谨慎。
