多目标跟踪论文 Deep SORT 数据集说明

flyfish

MOT16
这个benchmark包含14个具有挑战性的视频序列(7个训练,7个测试),在无约束的环境下,用静态和移动摄像机拍摄。在图像坐标下进行跟踪和评估。所有序列都经过了高精度的标注,严格遵循定义良好的协议。
说数据格式定得好,可以用a well-defined protocol形容

理解数据是第一步,将数据可视化可以更好的理解数据
DeepSORT 数据集的可视化
提供了训练集的输入和输出的可视化
测试集的可视化需要您自行更改文件的路径
在以下环境编译通过
操作系统:Ubuntu 18.04
编译环境:Qt 5.12.2
代码下载地址
https://github.com/shaoshengsong/DeepSORT_DatasetVisualization

更好的方式是 可以读取seqinfo.ini文件,根据该文件提供的内容进行下一步读取
本代码直接作为常量使用了,没有读取seqinfo.ini文件。

Training Set

深度学习数据集代码 deepsort数据集_MOT


Test Set

深度学习数据集代码 deepsort数据集_deepsort_02


名词解释

FPS:Frame Per Second

Resolution:Frame Size(w 乘以h)

Length:Number of Freame(Length in mm:ss)

Tracks:Number of annotated of Trajectories

Boxes:Total number of annotated pedestrains

Density:Average number of pedestrains of per frame训练集和测试集

MOT16-04为例

分两个文件夹train和test

再以train文件夹下MOT16-04的为例说明内容

深度学习数据集代码 deepsort数据集_MOT_03


深度学习数据集代码 deepsort数据集_深度学习数据集代码_04


概况

seqinfo.ini的内容,相当于对该数据集的说明描述

[Sequence]

name=MOT16-04

imDir=img1

frameRate=30

seqLength=1050

imWidth=1920

imHeight=1080

imExt=.jpg

seqLength 表示 序列的长度,也就是帧的总数1050
图片大小是1920 × 1080

输入
det.txt (detection)
1,-1,97,545,79,239,3.1667,-1,-1,-1
1,-1,369,401,79,239,3.1112,-1,-1,-1
1,-1,546.66,146.51,59.629,180.89,2.686,-1,-1,-1
1,-1,1638,255.64,59.629,180.89,2.6417,-1,-1,-1
1,-1,1043.8,134.38,59.629,180.89,2.3391,-1,-1,-1
1,-1,792.96,148.08,55.569,168.71,2.2532,-1,-1,-1
1,-1,1742.1,460.65,68.644,207.93,2.1848,-1,-1,-1
1,-1,1104.4,207.14,59.629,180.89,1.9684,-1,-1,-1
1,-1,498.16,122.26,59.629,180.89,1.4027,-1,-1,-1
1,-1,906.1,125.45,55.569,168.71,1.2634,-1,-1,-1
1,-1,351.89,91.972,63.98,193.94,1.1681,-1,-1,-1
1,-1,222.68,127.67,51.78,157.34,0.97654,-1,-1,-1

加个列标题

<Frame ID>, < Track ID>, <bb_left>, <bb_top>, <bb_width>, <bb_height>, <Confidence score>, <x>, <y>, <z>

1、Frame ID 表示帧ID,
2、Track ID 表示这个object属于哪个track 。每个object只能被分配到一个track,-1表示未分配。
3、4、5、6、接下来的四个数字表示行人在二维图像坐标中的边界框位置。位置由左上角以及边框的宽度和高度表示。
7、confidence score。
最后三个都是-1,xyz,具体怎么用,未知。
就像数据库里面的表,表达一对多的关系

输出
gt.txt (annotation/ground truth (GT) )
1,1,1363,569,103,241,1,1,0.86014
2,1,1362,568,103,241,1,1,0.86173
3,1,1362,568,103,241,1,1,0.86173
4,1,1362,568,103,241,1,1,0.86173
5,1,1362,568,103,241,1,1,0.86173
6,1,1362,568,103,241,1,1,0.86173
7,1,1362,568,103,241,1,1,0.86173
8,1,1362,568,103,241,1,1,0.86173
9,1,1362,568,103,241,1,1,0.86173
10,1,1362,568,103,241,1,1,0.86173

加个列标题

<Frame ID>, <Track ID>, <bb_left>, <bb_top>, <bb_width>, <bb_height>, <0/1> ,<Class ID> ,<Visibility Ratio>

1、Frame ID
2、Track ID
3、4、5、6 bbox坐标(x, y, w, h)
7、是否考虑 the entry,flag: considered (1) , ignored (0)
8、标注对象的类别
9、可见比例(visibility ratio),因为object的遮挡和图像边框裁剪,用一个介于0和1之间的数字表示该object的可见程度。

关于类别ID

深度学习数据集代码 deepsort数据集_ide_05


图片格式

图片内容,按照6为数字命名

深度学习数据集代码 deepsort数据集_deepsort_06


测试集是不需要gt.txt 的。