本发明公开了一种基于半监督学习的深度图像手势估计方法。相比于RGB图像，从深度图像中可以估计得到更高精度的手部姿态。而目前基于深度学习的手势估计方法虽然取得良好效果，但太过依赖于使用标注数据进行训练，然而对图像中的三维手势进行标注的过程十分复杂。本发明提出了一种高效的点云表达方式，有效的融合了局部特征与全局特征，实现高精度的从深度图像中估计出三维手部姿态的新方法。通过降低模型训练过程中对标注数据的依赖，从而减少了数据标注的成本。与此前的半监督学习的方法相比，本发明在保证运行效率的前提下，实现了手部姿态估计在精度上的突破。