华南理工大学学报(自然科学版)

作者：孙迪钢, 张平

单位：华南理工大学 计算机科学与工程学院，广东 广州 510006

关键词：手部姿态估计,手部形状估计,先验知识,手部网格

基金：广东省重点领域研发计划项目(2019B090915002);广州市科技计划项目(202206030008)

手部自遮挡和深度信息缺失使得由单目RGB图像进行三维手部姿态估计存在关节相对深度估计不够准确、生成的姿态违背手部生物力学约束等问题。为解决此问题，文中结合手部结构中蕴含的先验知识以及手部网格信息，提出一种基于先验知识和网格监督的深度神经网络。手部骨架的铰链式结构意味着关节三维位置在二维图像平面和深度方向的投影之间存在着特定关系，但个体之间的手部结构差异导致难以对其进行直观的形式化描述，为此文中提出通过学习来对其进行拟合。同一手指的关节位置和骨骼长度、同一手指的不同分段以及不同手指的弯曲方向之间也存在特定关系，文中将其设计为损失函数，用于监督网络训练。所提出的神经网络在估计手部姿态的同时并行生成手部网格，通过网格标注监督网络训练，优化姿态估计，且不增加网络复杂度。使用混合数据集对神经网络进行了训练，以进一步提高其泛化能力。实验结果表明，所提方法在多个数据集的内部交叉验证精度、跨数据集验证精度、模型的时间和空间复杂度等方面都优于其他方法，手部结构先验知识和网格监督在提升姿态估计精度的同时保持了神经网络结构的紧凑性。

来源：2024年第6期

《华南理工大学学报(自然科学版)》期刊编辑部

查看华南理工大学学报(自然科学版)杂志2024年第6期