医学图像分割的半监督学习综述 医学图像分割的概念

医学图像分割经典之作UNet论文心得 & 关于医学图像分割的相关补充论文FusionNet

• 医学图像分割概述

• 医学图像分割介绍
• 医学图像分割难点

• U-Net论文 & FusionNet论文

• U-Net论文摘要 & FusionNet论文摘要
• U-Net引言
• 算法架构
• 实验设置
• 实验分析
• 总结

医学图像分割概述

医学图像分割是医学图像处理与分析领域的一个复杂而又关键的步骤，目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更为准确的诊断。当前的医学图像分割仍在从手动分割或半自动分割向全自动分割发展。

医学图像分割介绍

1. 处理对象：各种不同成像机理的医学影像，主要有X-射线成像（X-CT）、核磁共振成像（MRI）、核医学成像（NMI）核超声波成像（UI）、电子显微镜成像（EM）
2. 应用方向：医疗教学、手术规划、手术仿真及各种医学研究
3. 应用场景：病变检测、图像分割、图像配准及图像融合
4. 应用思路：首先对二维切片图像进行分析和处理，实现对人体器官、软组织和病变体的分割提取，然后进行三维重建和三维显示，可以辅助医生对病变体及其他感兴趣区域进行定性甚至是定量的分析，从而大大提高医疗诊断的准确性和可靠性。

医学图像分割难点

1. 数据量少，提供的可用数据集数量少。
2. 图片尺寸大。单张图片尺寸大分辨率高，对模型的处理速度有一定的要求
3. 要求高。医学图像边界模糊、梯度复杂，对算法的分割准确度要求极高
4. 多模态。普通的医学图像数据集可以有很多种表现模态的数据，如ISLES竞赛中提供的脑梗数据集中包含了CBF、MTT、CBV、TMAX、CTP等多种模态的数据

U-Net论文 & FusionNet论文

U-Net论文摘要 & FusionNet论文摘要

U-Net摘要
主要贡献：本文提出了一个网络和训练策略，使用数据增强，以便有效的使用可用的带标签的数据样本。
网络结构：网络由两部分组成，定义一个收缩路径来获取全局信息，同时定义一个对称的扩张路径用以精确定位
网络效果：该网络可以用很少的图片进行端到端训练，处理速度也比较快
实验结果：以很大的优势赢得了2015ISBI细胞跟踪挑战赛
FusionNet摘要
主要贡献：本文提出了一种新的深度神经网络FusionNet，用以自动分割连接组学数据中的神经元结构
主要方法：引入了基于求和的跳跃连接，允许更深入的网络结构以实现更精确的分割
实验结果：通过与ISBI-EM分割挑战中的最新方法比较，展示了方法的新性能，还展示了两个其他任务的分割结果，包括细胞膜和细胞体的分割以及细胞形态学的统计分析。

U-Net引言

在U-Net中，在FCN的基础上建立了一个优雅的框架，并修改和拓展了这个框架，使其可以仅使用少量的训练数据就可以工作，获得更高的分割精度。

改进思想：1.设计了一个完全对称和U型结构，可以更好的融合图片特征

2.在上采样部分也包含大量特征通道，使网络能够将全局信息传播到更高的分辨率层

3.采用镜像的方式补全输入图像的缺失内容（如下图）

4.设计了加权损失函数

算法架构

UNet网络架构
（1）图片尺寸：输入图片572572，输出图片388388，输入图像是388388的原始图像经过了边界像素的水平翻转扩大的（见论文图2表示的overlap-tile），输出图片与原始图片大小相同是因为卷积和padding的共同作用。
（2）输入图像的通道数为1，由于医学图像是灰度图，输出图像的通道数是2，由于是2分类的，在分割中，输出图像的通道数是分割的类别数
（3）经过四次下采样后得到28281024的特征图后进行上采样还原为388388的分割，然后进行1*1的卷积分类最后输出
（4）特征融合，采用拼接的方式（要求尺寸相同，通道数相同），先进行裁剪，然后进行拼接（拼接在通道维度进行，也就是两个通道数相求和，尺寸不发生改变；求和的方式进行融合是通道数和尺寸都不发生改变）

Fusion-Net网络架构

（1）输入输出图片尺寸大小一致，经过了随机旋转和镜像等数据增强方式，但是没有扩大图片尺寸

（2）网络下采样是由‘卷积层-残差块-卷积层’-最大池化-‘卷积层-残差块-卷积层’这样的方式进行组合，最后得到40*40的特征图，之后进行上采样。上采样是由‘卷积层-残差块-卷积层’-反卷积-‘卷积层-残差块-卷积层’组成

（3）特征融合：采用求和方式（逐像素点加），相同尺寸的特征图进行融合

FusionNet网络结构实现细节：

实验设置

硬件设备：NVIDIA Titan GPU（6GB）
深度学习框架：Caffe
损失函数：加权损失函数（交叉熵+softmax）
优化器：SGD + momentum 0.99
batchsize：为了最大限度的使用GPU显存，比起输入一个大的batch size，更倾向输入大的patch（约为1）

实验分析

训练数据为30幅图像（512*512），来自果蝇第一龄幼虫腹神经索（VNC）的连续切片透射电镜。每幅图像都有一个完整标注的细胞（白色）和膜（黑色）的真实分割图。测试集是公开的，但是标签是保密的，将通过预测的膜概率图发送给组织者，得到评估结果：

在“PHC-U373”数据集和“DIC-HeLa”数据集上的IOU对比：

总结

U-Net关键点&创新点

1. 设计了严格对称的U型结构
2. 使用镜像折叠补充输入图像
3. 使用加权损失函数

FusionNet关键点 & 创新点

1. 改变U-Net，并加入了padding
2. 加入残差块
3. 网络结构中包含残差块中的短跳（跳跃连接）和长跳（特征图的融合）