基于Mask-RCNN ,以 MS COCO 数据集作为训练数据集, 该数据集共有 81 类( 含背景一类),对模型进行调参训练, 利用迁移学习的思想, 将此训练好的权重作为可行驶区域分割任务中的初始权重, 在预先处理过后BDD100K 可行驶区域数据集上再次训练,以实现视频和图片序列中可行驶区域的分割预测。

部分预测结果: https://youtu.be/S0Rkgh652UU https://youtu.be/iXNGM1gDyH8 https://youtu.be/Ab0yaGYZO9I


非结构化道路实现可行驶区域分割的测试视频结果


期待进一步的交流.mobile mask rcnnloss function

-----更新------- 基于Mask-RCNN的方法,来做可行驶区域分割.其实这里基于对数据集的简化处理后,最后的任务其实是的detection+binary segmentation.这里提供一份在原始模型上训练的权值文件,可下载自行测试.链接: https://pan.baidu.com/s/1kkSdvHADJuVg3ndvo4EfWA 提取码: 38he代码来源matterport 上面的测试视频是自己网上下载的,不是来自BDD100K.可自行下载自己想要测试的视频.

由于前面好些时间在找工作,还是菜是原罪呀~ 现在还在忙着做实验,马上要交论文初稿.不能一一回复大家,我也是小白,水平有限,请谅解~ 当然我觉得用two-stage的方法做检测,再加分割,实时性也不够.毕竟应用场景是驾驶场景,提升改进空间还是有蛮大的~


基于mask-rcnn-mobilenetv1的测试视频结果


-----再更------- 自毕业后,此项目搁置好长时间了,说好了会整理的,但在毕业旅行和各种毕业聚餐后也不了了之了。具体细节仅凭回忆,若有帮助,那就很开心了。

关于数据集的转换 bdd100k的转换,至于bdd100k数据集的详细介绍,可见其论文bdd100k,基于该任务,只取了两类,也可结合自己任务,数据集类别随意从现有类别中选。

bdd转coco 目前,bdd已经给出了转换脚本,可谓良心了,之前还自己写转换脚本。建议结合该脚本稍加改动即可。