多目标跟踪论文 Deep SORT 数据集说明
flyfish
MOT16
这个benchmark包含14个具有挑战性的视频序列(7个训练,7个测试),在无约束的环境下,用静态和移动摄像机拍摄。在图像坐标下进行跟踪和评估。所有序列都经过了高精度的标注,严格遵循定义良好的协议。
说数据格式定得好,可以用a well-defined protocol形容
理解数据是第一步,将数据可视化可以更好的理解数据
DeepSORT 数据集的可视化
提供了训练集的输入和输出的可视化
测试集的可视化需要您自行更改文件的路径
在以下环境编译通过
操作系统:Ubuntu 18.04
编译环境:Qt 5.12.2
代码下载地址
https://github.com/shaoshengsong/DeepSORT_DatasetVisualization
更好的方式是 可以读取seqinfo.ini文件,根据该文件提供的内容进行下一步读取
本代码直接作为常量使用了,没有读取seqinfo.ini文件。
Training Set
Test Set
名词解释
FPS:Frame Per Second
Resolution:Frame Size(w 乘以h)
Length:Number of Freame(Length in mm:ss)
Tracks:Number of annotated of Trajectories
Boxes:Total number of annotated pedestrains
Density:Average number of pedestrains of per frame训练集和测试集
MOT16-04为例
分两个文件夹train和test
再以train文件夹下MOT16-04的为例说明内容
概况
seqinfo.ini的内容,相当于对该数据集的说明描述
[Sequence]
name=MOT16-04
imDir=img1
frameRate=30
seqLength=1050
imWidth=1920
imHeight=1080
imExt=.jpg
seqLength 表示 序列的长度,也就是帧的总数1050
图片大小是1920 × 1080
输入
det.txt (detection)
1,-1,97,545,79,239,3.1667,-1,-1,-1
1,-1,369,401,79,239,3.1112,-1,-1,-1
1,-1,546.66,146.51,59.629,180.89,2.686,-1,-1,-1
1,-1,1638,255.64,59.629,180.89,2.6417,-1,-1,-1
1,-1,1043.8,134.38,59.629,180.89,2.3391,-1,-1,-1
1,-1,792.96,148.08,55.569,168.71,2.2532,-1,-1,-1
1,-1,1742.1,460.65,68.644,207.93,2.1848,-1,-1,-1
1,-1,1104.4,207.14,59.629,180.89,1.9684,-1,-1,-1
1,-1,498.16,122.26,59.629,180.89,1.4027,-1,-1,-1
1,-1,906.1,125.45,55.569,168.71,1.2634,-1,-1,-1
1,-1,351.89,91.972,63.98,193.94,1.1681,-1,-1,-1
1,-1,222.68,127.67,51.78,157.34,0.97654,-1,-1,-1
加个列标题
<Frame ID>, < Track ID>, <bb_left>, <bb_top>, <bb_width>, <bb_height>, <Confidence score>, <x>, <y>, <z>
1、Frame ID 表示帧ID,
2、Track ID 表示这个object属于哪个track 。每个object只能被分配到一个track,-1表示未分配。
3、4、5、6、接下来的四个数字表示行人在二维图像坐标中的边界框位置。位置由左上角以及边框的宽度和高度表示。
7、confidence score。
最后三个都是-1,xyz,具体怎么用,未知。
就像数据库里面的表,表达一对多的关系
输出
gt.txt (annotation/ground truth (GT) )
1,1,1363,569,103,241,1,1,0.86014
2,1,1362,568,103,241,1,1,0.86173
3,1,1362,568,103,241,1,1,0.86173
4,1,1362,568,103,241,1,1,0.86173
5,1,1362,568,103,241,1,1,0.86173
6,1,1362,568,103,241,1,1,0.86173
7,1,1362,568,103,241,1,1,0.86173
8,1,1362,568,103,241,1,1,0.86173
9,1,1362,568,103,241,1,1,0.86173
10,1,1362,568,103,241,1,1,0.86173
加个列标题
<Frame ID>, <Track ID>, <bb_left>, <bb_top>, <bb_width>, <bb_height>, <0/1> ,<Class ID> ,<Visibility Ratio>
1、Frame ID
2、Track ID
3、4、5、6 bbox坐标(x, y, w, h)
7、是否考虑 the entry,flag: considered (1) , ignored (0)
8、标注对象的类别
9、可见比例(visibility ratio),因为object的遮挡和图像边框裁剪,用一个介于0和1之间的数字表示该object的可见程度。
关于类别ID
图片格式
图片内容,按照6为数字命名
测试集是不需要gt.txt 的。