ios 人体骨骼识别 ar人体骨骼识别技术

基于三维骨骼的动作识别

• 1. 简介
• 2. 识别步骤

• 2.1 建立人体空间坐标系（归一化）
• 2.2 关节坐标滤波
• 2.2 特征提取

1. 简介

2. 识别步骤

2.1 建立人体空间坐标系（归一化）

• 由于人体正方向不一定与深度摄像头（如Kinect）平面垂直，则需要对人体进行方向归一化操作
• 使人体“头部”、“左肩”、“右肩”、“颈部”和“臀部中心”五个关节所在平面$p$ 与$x - y$ 平面平行，$z$
• 然后，再以“臀部中心”为原点，以$p$ 平面为$x - y$ 平面，$z$
• 下图中的旋转矩阵$R$ 使五关节所在平面以$π$ 为法向量旋转成以$e_z$ 为法向量，设旋转轴为$A = (a_x,a_y, a_z)$，旋转角度为$θ$ 。用$p_1,p_2,p_3,p_4,p_5$ 分别代表以上$5$个关节点的三维坐标，由于法向量$π$ 与五个关节点所在平面垂直，则运用法向量与平面中任意两点组成的向量乘积为0 的原理得到向量$π = (π_x,π_y,π_z)$



• 令$\pi$为单位法向量，则：
  $\pi$
  $e_z$
• 计算旋转矩阵$R$的旋转轴(垂直于两个法向量)和旋转角度(两个法向量的夹角)$\theta$
  $A = (a_x, a_y, a_z) = \frac{\pi$
  $\theta = arccos(\frac{\pi \cdot e_z}{||\pi|| \cdot ||e_z||})$
• 旋转矩阵
  $R = \hat A + cos\theta \cdot (I- \hat A) + sin \theta \cdot A^*$
  $\hat A= \begin{bmatrix} a_xa_x & a_xa_y & a_xa_z \\ a_ya_x & a_ya_y & a_ya_z \\ a_za_x & a_za_y & a_za_z \\ \end{bmatrix} \quad A^* = \begin{bmatrix} 0 & -a_z & a_y \\ a_z & 0 & -a_x \\ -a_y & a_x & 0 \\ \end{bmatrix}$
• P为深度摄像头坐标系下的坐标，P’为人体空间坐标系下的坐标（以臀部中心为原点）
  $P$

• $P_h$：为深度摄像头坐标系下的臀部中心坐标

• 因为人体个体的大小身高比例各不相同，所以需要用统一的方法进行度量，则使用立方体网格作为单位度
  量来描述

• 上图为11×11×11 的三维空间模型示意图，以臀部中心为原点，x 轴正负方向比例为5.5∶5.5（即1∶1），y 轴正负方向比例为5∶6，z 轴正负方向为5.5∶5.5（即1∶1）
• 二维平面示意图如下图所示。根据个体相对身高比例定义网格边长d = h/10 。其中，h 为个体在坐
  标系中的相对高度

2.2 关节坐标滤波

• 采用加权递推平均滤波算法对人体关节点的坐标进行滤波，去除坐标的抖动

2.2 特征提取

• 对关节点进行特征提取

• 生成空域：关节点的坐标向量所形成的角度特征
• 生成时域：每个关节的运动轨迹