一、目标检测

目标检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。

1.静态背景

  • 背景差分法
  • 帧间差分法
  • 光流法

2.动态背景（需要进行图像的全局运动估计与补偿）

  • 块匹配法
  • 光流估计法

二、运动目标跟踪

运动目标跟踪就是在一段序列图像中的每幅图像中实时地找到所感兴趣的运动目标(包括位置、速度及加速度等运动参数)。简单说,就是在序列图像中为目标定位。在运动目标跟踪问题的研究上,总体来说有两种思路: a)不依赖于先验知识,直接从图像序列中检测到运动目标,并进行目标识别,最终跟踪感兴趣的运动目标; b)依赖于目标的先验知识,首先为运动目标建模,然后在图像序列中实时找到相匹配的运动目标。

  1. 运动目标的有效表达
    除了对运动目标建模外,目标跟踪中常用到的目标特性表达主要包括视觉特征(图像边缘、轮廓、形状、纹理、区域)、统计特征(直方图、各种矩特征)、变换系数特征(傅里叶描绘子、自回归模型)、代数特征(图像矩阵的奇异值分解)等。除了使用单一特征外,也可通过融合多个特征来提高跟踪的可靠性。
  2. 相似性度量算法
    对运动目标进行特性提取之后,需要采用一定的相似性度量算法与帧图像进行匹配,从而实现目标跟踪。图像处理与分析理论中,常见的相似性度量方法有欧氏距离、街区距离、棋盘距离、加权距离、巴特查理亚系数、Hausdorff距离等,其中应用最多和最简单的是欧氏距离。
  3. 搜索算法
    目标跟踪过程中,直接对场景中的所有内容进行匹配计算,寻找最佳匹配位置,需要处理大量的冗余信息,这样运算量比较大,而且没有必要。采用一定的搜索算法对未来时刻目标的位置状态进行估计假设,缩小目标搜索范围便具有了非常重要的意义。其中一类比较常用的方法是预测运动体下一帧可能出现的位置,在其相关区域内寻找最优点。常见的预测算法有Kalman滤波、扩展的Kalman滤波及粒子滤波方法等。
    另一类减小搜索范围的算法是优化搜索方向。均值漂移算法(Meanshift算法)、连续自适应均值漂移算法(Camshift算法)和置信区域算法都是利用无参估计的方法优化目标模板
    和候选目标距离的迭代收敛过程,以达到缩小搜索范围的目的。
  4. 目标跟踪分类
    依据运动目标的表达和相似性度量,运动目标跟踪算法可以分为四类:基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪和基于模型的跟踪。跟踪算法的精度和鲁棒性很大程度上取决于对运动目标的表达和相似性度量的定义,跟踪算法的实时性取决于匹配搜索策略和滤波预测算法。
  • 基于主动轮廓的跟踪
    Kass等人提出的主动轮廓模型,即Snake模型,是在图像域内定义的可变形曲线,通过对其能量函数的最小化,动态轮廓逐步调整自身形状与目标轮廓相一致,该可变形曲线又称为Snake曲线
  • 基于特征的跟踪
    基于特征匹配的跟踪方法不考虑运动目标的整体特征,只通过目标图像的一些显著特征来进行跟踪。假定运动目标可以由惟一的特征集合表达,搜索到该相应的特征集合就认为跟踪上了运动目标。除了用单一的特征来实现跟踪外,还可以采用多个特征信息融合在一起作为跟踪特征。基于特征的跟踪主要包括特征提取和特征匹配两个方面。
  • 基于区域的跟踪
    基于区域的跟踪算法基本思想是: a)得到包含目标的模板,该模板可通过图像分割获得或预先人为确定,模板通常为略大于目标的矩形,也可为不规则形状; b)在序列图像中,运用相关算法跟踪目标。
  • 基于模型的跟踪
    基于模型的跟踪是通过一定的先验知识对所跟踪目标建立模型,然后通过匹配跟踪目标进行模型的实时更新。对于刚体目标来说,其运动状态变换主要是平移、旋转等,可以利用该方法实现目标跟踪。但是实际应用中跟踪的不仅仅是刚体,还有一大部分是非刚体,目标确切的几何模型不容易得到。