论文分享｜037期：使用深度传感器实时估算攀爬姿态
2024-06-13
01
研究背景
这项研究基于近期计算机视觉算法在人体姿势估计方面的进展，特别是新传感技术如深度相机的出现。这些技术使得应用成为可能，如微软Kinect，它使用深度相机和软件提供价格合理的身体跟踪，能够实时提取3D人体姿势信息。这项研究的灵感来源于使用实时人体姿势估计在体育训练中的潜力，特别是在迅速发展的室内攀岩运动中。
本研究旨在探究使用单个深度传感器捕获的深度图像准确估计攀岩者身体姿势的可行性。该研究应对了从单个深度图像中估计攀岩姿势的挑战，假设攀岩者与背景分离。重点是将人体姿势参数化为一组3D关节位置，并在攀岩环境中实施实时姿势估计的偏移关节回归（OJR）方法。
02
研究方法
本研究使用诺亦腾开发的动作捕捉系统，通过在身体周围放置几个可穿戴的惯性传感器单元来捕捉全身运动。这些传感器包括陀螺仪、加速度计和磁力计，用于精确的运动跟踪。感知神经元系统在基于视觉的动作捕捉不可行的情况下特别有用，例如由于其独立于相机放置和易于设置，在捕捉攀岩者在攀岩墙上的动作时。
研究采用了判别方法进行姿势估计，特别关注实施偏移关节回归（OJR）方法。这种方法从单个深度图像中估计骨骼关节位置，因其速度和鲁棒性而被选用。该方法使用身体部分分类（BPC）目标来训练OJR方法中随机决策森林的结构。实施包括训练数据生成器、模型训练器和评估器，用于从深度图像中估计姿势。这种方法主要用C++实现，并利用GPU的并行处理能力进行性能关键任务。
03
研究结果
OJR方法在准确估计关节位置方面证明是有效的，特别是在关节被遮挡的情况下。训练数据的质量和数量对模型的预测准确性有显著影响。图1展示了真正例距离的平均精度，展示了该方法的有效性。
结果显示，尤其是在肩关节外展和躯干屈曲方面，实验数据与计算机生成的运动之间存在显著的运动学差异。这些发现表明，需要优化AnyBody中的运动学数据，以实现更符合生理学的运动，以便进行人体工程学评估。
（图1）
04
研究讨论
该研究识别了攀岩姿势估计中的特定挑战，如姿势的多样性和身体部位的频繁遮挡。虽然使用了微软Kinect传感器进行深度图像捕获，但发现其身体追踪SDK不适用于攀岩姿势，导致开发了自定义的身体追踪算法。这项研究为攀岩训练和互动攀岩体验中的实时反馈打开了可能性。图2和图3展示了推断出的身体部位和最高置信度关节提议的示例，而图4展示了姿势估计中的失败模式示例。
（图2）
（图3）
（图4）
人工服务热线
工作日 9:00 - 18:00
售前咨询：+86 400-107-8298 转1
售后服务：+86 400-107-8298 转2
诺亦腾微信服务号
