在3D Slicer中使用 Monai Bundle 和 Model Zoo 标注医学影像数据-CT肺结节检测

精选原创

Tina姐 2024-09-03 17:17:53 ©著作权

文章标签 人工智能计算机视觉 3D 数据数据集 文章分类 JavaScript 前端开发

©著作权归作者所有：来自51CTO博客作者Tina姐的原创作品，请联系作者获取转载授权，否则将追究法律责任

在3D Slicer中使用 Monai Bundle 和 Model Zoo 标注医学影像数据-CT肺结节检测

在3D Slicer中使用 Monai Bundle 和 Model Zoo 标注医学影像数据-CT肺结节检测_人工智能

导读

本系列涵盖从 3D Slicer 医学图像查看器的基础使用到高级自动分割扩展程序的内容（从入门到高阶！），具体包括软件安装、基础使用教程，自动分割扩展（totalsegmentator, monai label）快速标注数据。

在本系列第三部分中，我们在工作站上安装了 MONAILabel 服务端和 MONAILabel 3D Slicer 客户端。在第四部分内容中，我们从一个简单的腹部CT脾脏分割案例开始，介绍了monai label使用的一些基础用法。在第五部分中，使用radiology app进行全脊柱的分割，并且详细介绍了radiology app所有用法。在第六部分中首次使用monai bundle 和model zoo里面的分割模型在MRI图像上分割全脑133个结构。

本节重点：在这一节中，我们不再进行分割，而是使用monai bundle做检测任务。识别CT胸部图像中可能存在结节的位置，并计算结节的概率。

该系列之前的内容如下：
【添加链接】

Monai Bundle 和 Model Zoo简单介绍

MONAI Model Zoo 提供了一系列由社区开发的医学影像模型，采用 Monai Bundle 格式。Monai Bundle 允许您轻松获取任何来自 MONAI Model Zoo 的模型并将其导入 MONAILabel。

Model Zoo提供的模型包括MRI脑肿瘤分割，CT肺结节检测，病理细胞核分割分类，CT胰腺分割，MRI前列腺分割，CT肾脏分割，CT脾脏分割，MRI脑切片生成等20几个模型。后面会用单独的篇幅分别介绍这些预训练模型的使用。

MONAI Bundle 是一种基于规范和文件结构的方式，用于分发经过训练的 MONAI 模型以及相关元数据、代码、文档和其他资源。这些旨在让您更轻松地以某种格式分发模型，该格式说明了模型的用途、如何使用它、如何重现您用它完成的科学研究，并将其用于 Label 和 Deploy 等其他应用程序。详细的使用教程可以去monai bundle github

接下来我们将用更多案例来演示monai bunlde在3D slicer中的用法

基于monai bundle的CT肺结节检测

在每一个教程开始前，会简单介绍这个预训练模型的基本信息，了解模型才能更好的适配模型，提高标注准确度。

模型简介

名称：Lung nodule ct detection
概述：在 LUNA16 数据集上训练的 CT 图像检测肺结节 3D 预训练模型
作者：MONAI 团队
参考文献：Lin, Tsung-Yi, 等人. “Focal loss for dense object detection.” ICCV 2017
版本：0.5.9

模型概述

预训练模型用于从CT图像中进行肺结节的体积（3D）检测。

该模型在LUNA16数据集上训练，使用了RetinaNet。

在3D Slicer中使用 Monai Bundle 和 Model Zoo 标注医学影像数据-CT肺结节检测_3D_02

训练数据

本示例中我们使用的实验数据集是LUNA16，LUNA16是一个用于CT肺结节检测的公开数据集。使用原始CT扫描数据，目标是识别可能存在结节的位置，并为每个位置分配结节的概率。

在这些文件中，“box”的值是世界坐标中的真实值框。

数据重采样:LUNA16中的原始CT图像具有不同的体素大小。第一步是将它们重新采样为相同的体素大小。在此模型中，我们将它们重新采样为0.703125 x 0.703125 x 1.25毫米 请按照https://github.com/Project-MONAI/tutorials/tree/main/detection中第3.1节的说明进行重采样。

训练配置

实际模型输入：192 x 192 x 80
优化器：Adam
学习率：1e-2
损失函数：BCE loss and L1 loss
input:1 channel - List of 3D CT patches
output: 训练模式： classification and box regression loss.评估模式：预测框、分类标签和分类分数的字典列表。

如果想要自己训练，可以参考https://monai.io/model-zoo.html

注意事项

想要标注更精确，可以使用训练数据相同的分辨率。

在3D slicer中进行CT肺结节检测

step1: 激活环境

conda activate monailabel

step2: 下载monaibundle app

如在之前的教程中下载过请忽略此步骤

monailabel apps --name monaibundle --download --output apps

在3D Slicer中使用 Monai Bundle 和 Model Zoo 标注医学影像数据-CT肺结节检测_计算机视觉_03

可以前往图片上地址查看下载了什么

step3: 下载实验数据

提供三个数据集，看自己需要选择一个进行下载

LUNA16数据集：
肺结节检测模型使用LUNA16数据集进行训练和评估。如果您打算使用LUNA16的完整数据集，请参考训练数据集中的说明下载数据，并按规范创建和预处理图像。
monai示例数据：
在本教程中，我们准备了一个示例子集，已经重新采样并可以直接使用。该子集仅用于演示。点击此处下载monai sample data。

或者使用以下命令直接下载和解压。

mkdir datasets
wget "https://github.com/Project-MONAI/MONAILabel/releases/download/data/detection_dataset.zip" -O datasets/detection_dataset.zip
unzip datasets/detection_dataset.zip -d datasets/detection_dataset

十项全能挑战赛数据集：
该检测模型还支持MSD Task06_Lung数据集进行推理。请注意，此数据集是为结节分割任务创建的。我们不使用分割掩码，只使用图像进行推理。

使用以下monailabel API自动下载数据集。

monailabel datasets --download --name Task06_Lung --output datasets

Tina姐使用的是Task06_Lung，数据集有8G，下载不下来可以联系我。

step4: 启动 MONAI Label Server

monailabel start_server --app apps/monaibundle --studies datasets/Task06_Lung/imagesTr --conf models lung_nodule_ct_detection

这个命令中，配置的预训练模型为lung_nodule_ct_detection,注意大小写

step5(可选步骤)：修改包中的检测参数。lung_nodule_ct_detection包可以设置框预测的概率阈值。在apps/monaibundle/model/lung_nodule_ct_detection_v0.5.0/configs/inference.json中，它定义了score_thresh=0.02：

"detector_ops": [
    "$@detector.set_target_keys(box_key='box', label_key='label')",
    "$@detector.set_box_selector_parameters(score_thresh=0.02, topk_candidates_per_level=1000, nms_thresh=0.22, detections_per_img=300)",
    "$@detector.set_sliding_window_inferer(roi_size=@infer_patch_size, overlap=0.25, sw_batch_size=1, mode='constant', device='cpu')"
]

此参数将影响最终预测输出中的框数量。然后在3D Slicer中显示所有框的ROI。

如果用户希望限制在3D Slicer中显示的预测框数量，可以设置更高的score_thresh，例如score_thresh=0.5、score_thresh=0.6甚至更高。

step6:启动 3D Slicer

启动3D Slicer和MONAI Label插件，绿色刷新符号连接服务端，点解nextsample加载数据，最后点击run等待自动勾画检测框：如不会请参考系列之前的内容

在3D Slicer中使用 Monai Bundle 和 Model Zoo 标注医学影像数据-CT肺结节检测_数据_04

重要提示：如果您的MONAI Label插件来自较旧版本，请更新和使用最新的MONAI Label插件。检测任务需要在3D Slicer标记中绘制ROI节点。

该过程在mac上勾画的时间为14分钟，建议使用GPU。

step7: 编辑结果和提交

用户可以使用3D Slicer的ROI框编辑器手动编辑推理标签，点击顶部的Markups选项卡，使用调整ROI的工具。

手动编辑推理标签：

打开3D Slicer，点击顶部的Markups选项卡。
使用ROI框编辑器调整和编辑ROI。

保存注释：

编辑完成后，返回MONAI Label插件界面。
点击Submit Label按钮，将注释保存到文件系统中。

注释存储路径：

注释将保存到研究数据集中的labels/final文件夹。
例如，在此用例中，真实标签将保存到datasets/Task06_Lung/imagesTr/labels/final文件夹中。

加载注释：

保存的注释将以JSON文件形式存储，使用3D Slicer的ROINode格式。
可以使用3D Slicer加载该JSON文件，以查看和编辑注释。

通过这些步骤，您可以使用3D Slicer手动编辑和保存肺结节检测的注释标签，并在需要时重新加载进行查看和进一步编辑。

在3D Slicer中使用 Monai Bundle 和 Model Zoo 标注医学影像数据-CT肺结节检测_数据_05

从图中可以看到，预测的检测框有12个，而真正肺结节只有一个，假阳性太高，可以使用step5的方法降低假阳性。

step8:主动学习

MONAI Label中的主动学习（active learning）和交互式微调模型具有突出功能，用户可以在保存新的注释标签时随时训练他们的模型。点击“Train”按钮，MONAI Label服务器将获取保存的最终真实标签，并微调之前的模型。

在3D Slicer中使用 Monai Bundle 和 Model Zoo 标注医学影像数据-CT肺结节检测_数据集_06

以下是JSON文件中注释框坐标的示例：

{
    "ROINode": {
        "label": "Lung Nodule",
        "type": "Box",
        "coordinates": [
            {
                "x": 32,
                "y": 45,
                "z": 20,
                "width": 15,
                "height": 15,
                "depth": 10
            },
            {
                "x": 60,
                "y": 70,
                "z": 40,
                "width": 20,
                "height": 20,
                "depth": 15
            }
        ]
    }
}

通过这些步骤，您可以使用MONAI Label中的主动学习和交互式微调功能，在保存新的注释标签时不断改进您的模型。

用户可以使用最新微调的模型进行自动分割。主动学习过程将选择未标记的批次数据。

下一张图像被选中，已经训练过的图像将被标记为已标记数据，不会被选择用于下一次标记批次。主动学习策略如“first/random”将用于选择要获取的未标记数据。