多目标跟踪 shift 多目标跟踪的意义

文章目录

• 一、目标跟踪简介

• 1.1、多目标跟踪简介
• 1.2、目标跟踪的困难点
• 1.3、目标跟踪的意义
• 1.4、自动驾驶中常用的传感器及融合方式

• 二、目标跟踪常用数据集
• 三、目标跟踪常用评价指标
• 四、目标跟踪常用视频标注及处理软件
• 五、参考资料

---

一、目标跟踪简介

1.1、多目标跟踪简介

• 多目标追踪顾名思义就是跟踪视频画面中的多个目标，得到这些目标的运动轨迹(每一个目标分配一个 track id，这个 id 在视频序列中具有唯一性)；核心在于 目标检测和数据关联，即在每一帧进行目标检测，再利用目标检测的结果来进行目标跟踪，后面一步一般称之为数据关联，数据关联更多依赖于手工特征提取(外观特征(det)、运动特征(kalman)、点云特征（lidar/ladar）等)
• 核心：状态估计和更新、数据关联、轨迹管理

• 状态估计和更新：在每个给定时刻，给出对于目标真实状态的最优估计；一般引入 线性速度模型与卡尔曼滤波 来进行位置预测，在无合适匹配检测框的情况下，使用运动模型来预测物体的位置，使用高质量检测框进行更新
• 数据关联：在每个给定时刻，确定跟踪目标与传感器观测之间的最优的对应关系；一般使用马氏距离或深度特征余弦距离或 IoU 进行相似性度量，采取级联匹配，优先匹配距上次出现间隔短的目标
• 轨迹管理：当真实交通参与者进入 感知范围 时，为其创建跟踪唯一轨迹，当其离开感知范围时删除这条唯一轨迹

---

1.2、目标跟踪的困难点

• 形态变化

• 姿态变化是目标跟踪中常见的干扰问题。运动目标发生姿态变化时, 会导致它的 特征以及外观模型发生改变, 容易导致跟踪失败。例如: 体育比赛中的运动员、马路上的行人。

• 尺度变化

• 尺度的自适应也是目标跟踪中的关键问题。当目标尺度缩小时, 由于跟踪框不能自适应跟踪, 会将很多背景信息包含在内, 导致目标模型的更新错误；当目标尺度增大时, 由于跟踪框不能将目标完全包括在内, 跟踪框内目标信息不全，也会导致目标模型的更新错误。因此, 实现尺度自适应跟踪是十分必要的。

• 遮挡与消失(crowded scenes and fast camera motion)

• 目标在运动过程中可能出现被遮挡或者短暂的消失情况。当这种情况发生时, 跟踪框容易将遮挡物以及背景信息包含在跟踪框内, 会导致后续帧中的跟踪目标漂移到遮挡物上面。若目标被完全遮挡时, 由于找不到目标的对应模型, 会导致跟踪失败。

• 图像模糊

• 光照强度变化, 目标快速运动, 低分辨率等情况会导致图像模糊, 尤其是在运动目标与背景相似的情况下更为明显。因此, 选择有效的特征对目标和背景进行区分非常必要

---

1.3、目标跟踪的意义

• 得到目标的轨迹和目标的预测位置后，可以做轨迹分析，位置速度预判（对于自动驾驶有比较重要的意义）
• 违法证据识别、补全缺失的检测框
• 为检测的结果建立了时序上的关联，比如动作识别任务，比如车辆的 movement 判断等等，都需要以多目标跟踪为基础

---

1.4、自动驾驶中常用的传感器及融合方式

• 常用的传感器：

• 摄像头：优势是分辨率高，检测、分类、识别等视觉任务的准确率高；劣势是受环境影响比较严重
• 激光雷达：优势是天然的 3D 信息，不受光照影响，测量精度很高；劣势是价格昂贵，没有外观纹理信息，在雨雪雾等天气下性能较差
• 毫米波雷达：优势是可直接测量位置和速度，价格较低，不受光照、恶劣天气影响；劣势是观测噪声较大，分辨率低，对小目标检测能力较差，对目标分类的能力很差
  
  

• 融合方式：前融合和后融合
• 后融合基本流程

---

二、目标跟踪常用数据集

• MOT 常用的数据集及 Benchmark 见： https://paperswithcode.com/task/multi-object-tracking







• 
  



• 
  

---

三、目标跟踪常用评价指标

• 常用评价指标：https://motchallenge.net/results/MOT20/



• 最主要的评价指标就是 MOTA，这个指标综合了三点因素：FP、FN、IDsw.，MOTA 越高，代表一个 Tracker 综合性能越好；MOTA 给出的是非常直观的衡量跟踪其在检测物体和保持轨迹时的性能，与目标检测精度无关

• FP 即 False Postive，为误检测的目标数量；
• FN 即 False Negetive，为漏检的真实目标数量；
• IDsw. 即同一目标发生ID切换的次数(即：跟踪错误的次数)。

• MOTP 主要量化检测器的定位精度，几乎不包含与跟踪器实际性能相关的信息
• Note： MOTA&MOTP 是计算所有帧相关指标后再进行平均的

• IDF1：16 年提出的 ID scores，因为都是基于匹配的指标，所以能更好的衡量数据关联的好坏
• HOTA

---

四、目标跟踪常用视频标注及处理软件

• darklabel/ViTBAT



• ffmpeg 切割视频

---