README.md

    Easy 3D HandPose X

    Easy 3D HandPose,pytorch,单目相机的手三维姿态估计

    项目介绍

    • 注意:该项目前向推理用到项目包括:

    项目推理 PipeLine

    pipeline

    项目配置

    1、软件

    • 作者开发环境:
    • Python 3.7
    • PyTorch >= 1.5.1
    • opencv-python
    • open3d

    2、硬件

    • 普通USB彩色(RGB)网络摄像头

    数据集

    模型

    1、目前支持的模型 (backbone)

    • resnet18 & resnet34 & resnet50 & resnet101

    2、预训练模型

    项目使用方法

    [1]准备左右手3D建模资源(MANO Hand Model)

    • 该模型也可在官网下载,官网地址为:https://mano.is.tue.mpg.de/
    • 下载模型和文件 (下载文件的格式为 mano_v*_*.zip)。注意这些文件的下载使用遵守 MANO license
    • 下载模型后进行解压,并将其目录结构设置如下:
    e3d_handpose_x/
      mano/
        models/
          MANO_LEFT.pkl
          MANO_RIGHT.pkl
          ...
        webuser/
          ...
        __init__.py

    [2]模型训练

    根目录下运行命令: python train.py (注意脚本内相关参数配置 )

    [3]模型推理

    根目录下运行命令:

    1) 图片推理脚本 :python inference.py (注意脚本内相关参数配置 )

    2) 相机推理脚本 : python yolo_inference.py (注意脚本内相关参数配置 )

    注意:目前推理为 “预发版本”,只支持画面中出现一只手会进行三维姿态估计,并只支持右手姿态估计。

    第 1 步:确定电脑连接相机。
    第 2 步:下载 模型前向推理包(百度网盘 Password: xhd3 )
    第 3 步:解压模型前向推理包,配置 yolo_inference.py脚本模型路径参数,参考如下:
      parser.add_argument('--model_path', type=str, default = './if_package/e3d_handposex-resnet_50-size-128-loss-wing_loss-20210619.pth',
          help = 'model_path') # e3d handpose 模型路径
      parser.add_argument('--detect_model_path', type=str, default = './if_package/hand_detect_416-20210606.pt',
          help = 'model_path') # detect 模型路径
      parser.add_argument('--handpose_x2d_model_path', type=str, default = './if_package/handposex_2d_resnet_50-size-256-wingloss102-0.119.pth',
          help = 'model_path') # 手2维关键点 模型路径
    第 4 步:运行脚本:python yolo_inference.py

    注意:运行出错,注意看log报的错误,尽量自行解决,思考尝试解决不了,issue提问。

    联系方式 (Contact)

    项目简介

    Easy 3D HandPose,pytorch,单目相机的手三维姿态估计

    发行版本

    当前项目没有发行版本

    贡献者 2

    开发语言

    • Python 100.0 %