OPENCV中AKAZE和BRISK opencv calibratehandeye

1. 眼在手上

标定过程

标定板放置在固定位置，机器人变换不同的姿态，相机获取不同姿态下的标定板图像目标
上图中描述了闭环的坐标系空间关系，包含以下部分：

• $^{base}H_{tool}$ 机器人末端的工具坐标系到机器人基坐标系的变换矩阵。
  可变量
• $^{cam}H_{tool}$ 机器人末端的工具坐标系到相机坐标系的变换矩阵。
  不变量
• $^{cam}H_{cal}$ 标定板坐标系到相机坐标系的变换矩阵。
  可变量
• $^{base}H_{cal}$ 标定板坐标系到机器人基坐标系的变换矩阵。
  不变量

闭环关系
$\Huge \begin{aligned} \Huge^{tool}H_{cam} = ^{tool}H_{base} * ^{base}H_{cal} * ^{cal}H_{cam} \end{aligned}$

机器人每移动一个位姿，就能得到一个上述的闭环关系，又由于$^{base}H_{cal}$是不变量，可在多个姿态下得到的关系中任选两个将其消除。这里选择相邻的两次。
$\LARGE \begin{aligned} ^{base}H_{cal} &= ^{tool}H_{base}^{-1} * ^{tool}H_{cam} * ^{cal}H_{cam}^{-1}\\ &= ^{base}H_{tool}* ^{tool}H_{cam} * ^{cam}H_{cal} \end{aligned}$
相邻两次对$^{base}H_{cal}$进行消除：
$\LARGE ^{base}H_{tool}^0* {\color{Red}^{tool}H_{cam}^0} * ^{cam}H_{cal}^0 = ^{base}H_{tool}^1* {\color{Red}^{tool}H_{cam}^1} * ^{cam}H_{cal}^1$
由于$^{tool}H_{cam}$是不变的
$\LARGE ^{tool}H_{cam}^0 =^{tool}H_{cam}^1=^{tool}H_{cam}$

$\LARGE ^{base}H_{tool}^0* {\color{Red}^{tool}H_{cam}} * ^{cam}H_{cal}^0 = ^{base}H_{tool}^1* {\color{Red}^{tool}H_{cam}} * ^{cam}H_{cal}^1$

等式两边分别左乘${^{base}H_{tool}^1}^{-1}$与右乘${^{cam}H_{cal}^0}^{-1}$
$\LARGE {^{base}H_{tool}^1}^{-1} * ^{base}H_{tool}^0* {\color{Red}^{tool}H_{cam}} = {\color{Red}^{tool}H_{cam}} * ^{cam}H_{cal}^1 * {^{cam}H_{cal}^0}^{-1}$
转换成
$\Huge AX=XB$
其中：
$\LARGE \begin{aligned} A&={^{base}H_{tool}^1}^{-1} * ^{base}H_{tool}^0\\ B&=^{cam}H_{cal}^1 * {^{cam}H_{cal}^0}^{-1}\\ X&=^{tool}H_{cam} \end{aligned}$

2. 眼在手外

标定过程

相机安装在机械手外的固定位置，标定板安装在机器人末端位置，标定过程中机器人变换不同的位姿，相机分别拍摄在不同位姿下的标定板图像

目标
在下图中描述了闭环的坐标系空间关系，包含以下部分：

• $^{base}H_{tool}$ 机器人末端的工具坐标系到机器人基坐标系的变换矩阵。
  可变量
• $^{tool}H_{cal}$ 标定板坐标系到机器人末端的工具坐标系的变换矩阵。
  不变量
• $^{cal}H_{cam}$ 相机坐标系到标定板坐标系的变换矩阵。
  可变量
• $^{cam}H_{base}$ 机器人基坐标系到相机坐标系的变换矩阵。
  不变量

闭环关系
$\Huge ^{base}H_{cam} = ^{base}H_{tool} * ^{tool}H_{cal} * ^{cal}H_{cam}$

由于$ ^{tool}H_{cal}$是不变量，可通过前后两次姿态的结果对其进行消除。
$\LARGE ^{tool}H_{cal} = ^{base}H_{tool}^{-1} * ^{base}H_{cam} * ^{cal}H_{cam}^{-1}$
等价于
$\LARGE ^{tool}H_{cal} = ^{tool}H_{base} * ^{base}H_{cam} * ^{cam}H_{cal}$
相邻两次消除$^{tool}H_{cal}$
$\LARGE ^{tool}H_{base}^0 * {\color{red}^{base}H_{cam}^0} * ^{cam}H_{cal}^0 = ^{tool}H_{base}^1 * {\color{red}^{base}H_{cam}^1} * ^{cam}H_{cal}^1$

等价于
$\LARGE ^{tool}H_{base}^0 * {\color{red}^{base}H_{cam}} * ^{cam}H_{cal}^0 = ^{tool}H_{base}^1 * {\color{red}^{base}H_{cam}} * ^{cam}H_{cal}^1$
等价于
$\LARGE {^{tool}H_{base}^1}^{-1} * ^{tool}H_{base}^0 * {\color{red}^{base}H_{cam}} = {\color{red}^{base}H_{cam}} * ^{cam}H_{cal}^1 * {^{cam}H_{cal}^0}^{-1}$
等价于
$\Huge AX = XB$
其中
$\LARGE \begin{aligned} A&={^{tool}H_{base}^1}^{-1} * ^{tool}H_{base}^0\\ B&=^{cam}H_{cal}^1 * {^{cam}H_{cal}^0}^{-1}\\ X&=^{base}H_{cam} \end{aligned}$

3. OpenCV

根据以上分析，无论是眼在手上还是眼在手外，都最终转换成对方程AX=BX的求解。OpenCV提供了手眼标定求解的算子calibrateHandEye。

void
cv::calibrateHandEye(InputArrayOfArrays 	R_gripper2base,
                  InputArrayOfArrays 	t_gripper2base,
                  InputArrayOfArrays 	R_target2cam,
                  InputArrayOfArrays 	t_target2cam,
                  OutputArray 	        R_cam2gripper,
                  OutputArray 	        t_cam2gripper,
                  HandEyeCalibrationMethod method = CALIB_HAND_EYE_TSAI)

• 眼在手上
  这种情况下，算子参数名称的描述与真实输入相对应。

void
cv::calibrateHandEye(InputArrayOfArrays 	R_gripper2base, // <=> R_tool2base
                     InputArrayOfArrays 	t_gripper2base, // <=> T_tool2base
                     InputArrayOfArrays 	R_target2cam,	// <=> R_cal2cam
                     InputArrayOfArrays 	t_target2cam,	// <=> T_cam2cam
                     OutputArray 	        R_cam2gripper,	// <=> R_cam2tool
                     OutputArray 	        t_cam2gripper, 	// <=> T_cam2tool
                     HandEyeCalibrationMethod method = CALIB_HAND_EYE_TSAI)

$\LARGE {^{base}H_{tool}^1}^{-1} * ^{base}H_{tool}^0* {\color{Red}^{tool}H_{cam}} = {\color{Red}^{tool}H_{cam}} * ^{cam}H_{cal}^1 * {^{cam}H_{cal}^0}^{-1}$$\LARGE {^{base}H_{tool}^1}^{-1} * ^{base}H_{tool}^0* {\color{Red}^{tool}H_{cam}} = {\color{Red}^{tool}H_{cam}} * ^{cam}H_{cal}^1 * {^{cam}H_{cal}^0}^{-1}$

• 眼在手外
  这种情况下，算子参数名称的描述与真实输入有所不同

void
cv::calibrateHandEye(InputArrayOfArrays 	R_gripper2base,	// <=> R_base2tool
                     InputArrayOfArrays 	t_gripper2base,	// <=> T_base2tool
                     InputArrayOfArrays 	R_target2cam,	// <=> R_cal2cam
                     InputArrayOfArrays 	t_target2cam,	// <=> T_cam2cam
                     OutputArray 	        R_cam2gripper,	// <=> R_cam2base
                     OutputArray 	        t_cam2gripper,	// <=> T_cam2base
                     HandEyeCalibrationMethod method = CALIB_HAND_EYE_TSAI)

$\LARGE {^{tool}H_{base}^1}^{-1} * ^{tool}H_{base}^0 * {\color{red}^{base}H_{cam}} = {\color{red}^{base}H_{cam}} * ^{cam}H_{cal}^1 * {^{cam}H_{cal}^0}^{-1}$