图像配准融合 python 图像配准 opencv

opencv系列-图像配准

• 一、简介
• 二、应用场景
• 三、算法分类
• 四、特征点

• 4.1 Haris
• SIFT
• SURF

• 五、特征匹配
• 六、全局配准

• 坐标旋转变换公式的推导

• 围绕原点的旋转
• 坐标系（逆时针）的旋转
• 绕某一点进行旋转

• 仿射变换
• 透视变换与仿射变换
• opencv函数使用

• 什么是光流（optical flow）？
• 光流法基本原理

• 七、 局部配准

前言：配准方面的知识，在工作中多有用到，对于原理了解一些，但是知之不深，最近时间比较充裕，专门写一篇文章，加深对配准方面知识的学习。

一、简介

通俗定义：给定两幅图像P1,P2，图像配准算法的目标是找到一种变换T: $\Omega1$ $\Omega2$，使得变换某一图后，两幅图像的相似程度达到最大。

二、应用场景

Panorama全景拼接；recognition识别；SLAM（同步定位与地图绘制）；去噪；hdr算法

三、算法分类

Feature based; Optical Flow based;CNN based

四、特征点

特征检测。手动或者可能自动检测显著和独特的对象(闭合边界区域，边缘，轮廓，交线，角点等)。为了进一步处理，这些特征可以通过点来表示(重心，线尾，特征点)，这些点称为控制点(CP)。
特征匹配。建立场景图像和参考图像特征之间的相关性。使用各种各样的特征描述符，相似性度量，连同特征的空间相关性。
转换模型估计。估计将感测图像和参考图像对齐的所谓映射函数的类型和参数。映射函数的参数通过特征相关性计算。
图像重采样和转换。使用映射函数转换感测图像。使用合适的插值技术计算非整数坐标的图像值。

4.1 Haris

window fuction:

SIFT

SURF

五、特征匹配

Opencv特征寻找及匹配的步骤有哪些？

1. 根据特征点定义寻找特征点
2. 对特征点进行描述
3. 将寻找到的关键点和现有特征点，利用描述符进行量化后，进行匹配。

六、全局配准

坐标旋转变换公式的推导

围绕原点的旋转

$s = r*cos(b+a) = r*cos(a)*cos(b) - r*sin(a)*sin(b)$

$t = r*sin(b+a) = r*sin(b)*cos(a) +r*sin(a)*cos(b)$

$x = r*cos(a)$

$y = r*sin(a)$

将x，y带入s，y当中：

$s = x*cos(b) - y*sin(b)$

$t = x*sin(b) + y*cos(b)$

写成矩阵的形式：

$\begin{bmatrix} s \\ t \end{bmatrix} =\begin{bmatrix} cos(b) & -sin(b) \\ sin(b) & cos(b) \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix}$

坐标系（逆时针）的旋转

以P点坐标为例，在原始坐标系中坐标是（x,y）,在新的坐标系中的坐标为（s,t）

$s = os = oa + as = y*sin(\theta) + x*cos(\theta)$

$t = ot = ay - by = y*cos(\theta) - x*sin(\theta)$

写成矩阵的形式：

$\begin{bmatrix} s \\ t \end{bmatrix} = \begin{bmatrix} cos(\theta) & sin(\theta) \\ -sin(\theta) & cos(\theta) \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix}$

绕某一点进行旋转

待补充

仿射变换

仿射变换（Affine Transformation or Affine Map），在几何上，是一个向量空间，经过线性变换和平移转换为另外一个向量空间的操作。仿射变换的特点，保持图像的平移性（直线仍然是直的）和平行性（平行线仍然平行，且直线点上的位置顺序不变）。
常见的三种变换操作：

• 旋转（rotation）
  坐标系顺时针，内容逆时针
  $\begin{bmatrix} cos(\theta) & - sin(\theta) \\ sin(\theta) & cos(\theta) \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} x_{1} \\ y_{1} \end{bmatrix}$
• 平移（translation）
  $\begin{bmatrix} 1 & 0 & T_{x} \\ 0 & 1 & T_{y} \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix} = \begin{bmatrix} X + T_{x} \\ Y + T_{y} \\ 1 \end{bmatrix}$
• 缩放（scale）
  $\begin{bmatrix}T_{x} & 0 & 0 & \\ 0 & T_{y} & 0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix} = \begin{bmatrix} X * T_{x} \\ Y *T_{y} \\ 1 \end{bmatrix}$
• 错切(shear)
  x轴移动
  $\begin{bmatrix}1 & tan\theta & 0 & \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix} = \begin{bmatrix} X +Y*tan\theta \\ Y \\ 1 \end{bmatrix}$
  y轴移动
  $\begin{bmatrix}1 & 0 & 0 & \\ tan\alpha & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix} = \begin{bmatrix} X \\ Y + X*tan\alpha \\ 1 \end{bmatrix}$
  x、y轴移动
  $\begin{bmatrix}1 & tan\theta & 0 & \\ tan\alpha & 1 & 0 \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix} = \begin{bmatrix} X +Y*tan\theta \\ Y + X*tan\alpha \\ 1 \end{bmatrix}$

$A = \begin{bmatrix} a_{00} & a_{01} \\ a_{10} & a_{11} \\ \end{bmatrix} B=\begin{bmatrix} b_{00} \\ b_{10} \\ \end{bmatrix} M=\begin{bmatrix} A& B \end{bmatrix}$
$T = A*\begin{bmatrix} x \\ y \\ \end{bmatrix} +B 或者 T = M*\begin{bmatrix} x \\ y \\ 1\end{bmatrix}$
对于图片的每个位置进行转换：
$T = \begin{bmatrix} a_{00}*x + a_{01}*y +b_{00} \\ a_{10}*x + a_{11}*y +b_{10} \end{bmatrix}$

透视变换与仿射变换

opencv函数使用

什么是光流（optical flow）？

所谓光流即瞬时速度，时间很小时，等同于目标点的位移。
光流的物理意义：光流是由目标物体的运动以及相机的运动，或者二者共同的运动所产生。研究光流场的目的是为了获得运动场。

光流法基本原理

七、 局部配准

• [1]局部配准综述
• [2]仿射变换与透视变换
• [3]kl配准
• [4]配准综述
• [5]配准paperwithcode
• [6]openCV中的findHomography函数分析以及RANSAC算法的详解（源代码分析）
• [7] Python+Opencv2（三）图像特征匹配

-[8]surf特征提取算法