一种基于辅助学习任务与重分割约束的医学图像分割方法

1.本发明涉及医学图像分割技术领域，尤其是一种基于辅助学习任务与重分割约束的医学图像分割方法。


背景技术：

2.近年来，伴随着人工智能技术的飞速发展，计算机视觉在自然图像应用领域展现出了极高的识别效果，在医学图像分割领域也同样获得了广泛的关注。通常，对医学图像进行分割的目的是使人体组织结构或病理结构更加清晰直观，或者通过分割结果可对相关组织进行建模，以便进行后续的辅助诊断操作。然而，医学图像中的数据与自然图像格式稍有不同，除了二维结构的数据外，以mri或ct为主的图像数据通常为三维结构，其包含了对整个器官组织的扫描结果。在图像内容方面，自然图像中各种物体的边界都是相对比较明显的。但医学图像中显示的是人体组织结构，并且是通过专业的成像仪器获取到的，可能存在组织的边缘轮廓界限不够清晰、图像亮度变化复杂等特性。
3.当前，随着深度学习算法的快速迭代更新，研究者们针对自然图像分割模型进行了一系列的改进，并将这些模型应用至医学图像分割领域中，相较于传统的医学图像分割方法，在分割准确度上有了明显的提升。因而，传统的医学图像分割方式逐步被深度学习方式所代替。深度学习方式并不要求和传统方式一样人工获取特征，也不会产生由先验知识带来的差异，因此在医学图像分割领域中显示出了优异的性能效果。在智慧医疗任务需求的不断增加的背景下，现有的采用深度学习方法的医学图像分割方式，往往要求对大规模有标注的数据进行建模的训练，而医学图像数据比一般数据规模较小，因而现有的医学图像分割模型通常难以充分提取相关的具有鉴别力的特征用于表征分割。因此，上述的这些局限致使现有的基于深度学习的医学图像分割工作，在分割性能的准确度方面仍然有待于进一步的提升。


技术实现要素：

4.本发明的目的在于提供一种通过构造图像重建这一辅助任务，提升分割主任务的图像分割精度，同时在模型训练阶段，通过重建图像二次分割对网络进一步约束进而再次提高分割结果的准确性的基于辅助学习任务与重分割约束的医学图像分割方法。
5.为实现上述目的，本发明采用了以下技术方案：一种基于辅助学习任务与重分割约束的医学图像分割方法，该方法包括下列顺序的步骤：
6.(1)对三维人脑核磁共振数据进行预处理，得到训练集和测试集；
7.(2)构建基于辅助学习任务与重分割约束的分割网络；
8.(3)将训练集输入分割网络进行训练,得到训练好的分割网络；
9.(4)将测试集输入训练好的分割网络，分割网络输出得到分割结果。
10.所述步骤(1)具体包括以下步骤：
11.(2a)所述三维人脑核磁共振数据包括四种模态：t1、t1c、t2和flair，将四种模态
的三维人脑核磁共振数据进行合并，其中这四种模态数据的原始尺寸为240*240*155，生成尺寸为4*240*240*155大小的四通道三维数据，其中4表示模态数量，155表示每个三维人脑核磁共振数据中含有的二维切片数目，240*240分别表示图像的高度和宽度；
12.(2b)对合并后的三维人脑图像数据由nii格式转换为numpy格式；
13.(2c)对转换后的数据采用零-均值规范化方法进行归一化处理；
14.(2d)根据随机划分将归一化处理后的图像以7：3的比例划分为训练集和测试集；
15.(2e)将训练集进行随机裁剪，得到4*128*128*128的尺寸大小的训练集数据。
16.在步骤(2)中，所述分割网络包括第一编码模块、第二编码模块、第一解码模块、第二解码模块和第三解码模块；
17.所述第一编码模块和第二编码模块均由四个卷积块和三个最大池化下采样层组成，所述四个卷积块包括第一卷积块、第二卷积块、第三卷积块和第四卷积块，所述第一卷积块包括第一卷积层、第一批量归一化层、第一修正线性单元激活层、第二卷积层、第二批量归一化层和第二修正线性单元激活层；所述第二卷积块包括第三卷积层、第一批量归一化层、第一修正线性单元激活层、第四卷积层、第二批量归一化层和第二修正线性单元激活层；所述第三卷积块包括第五卷积层、第一批量归一化层、第一修正线性单元激活层、第六卷积层、第二批量归一化层和第二修正线性单元激活层；所述第四卷积块包括第七卷积层、第一批量归一化层、第一修正线性单元激活层、第八卷积层、第二批量归一化层和第二修正线性单元激活层；所述三个最大池化下采样层包括第一最大池化下采样层、第二最大池化下采样层和第三最大池化下采样层；
18.所述第一解码模块、第二解码模块和第三解码模块均由三个反卷积块和三个上采样层组成，所述三个反卷积块包括第一反卷积块、第二反卷积块和第三反卷积块，所述第一反卷积块包括第九卷积层、第三批量归一化层、第三修正线性单元激活层、第十卷积层、第四批量归一化层和第四修正线性单元激活层；所述第二反卷积块包括第十一卷积层、第三批量归一化层、第三修正线性单元激活层、第十二卷积层、第四批量归一化层和第四修正线性单元激活层；所述第三反卷积块包括第十三卷积层、第三批量归一化层、第三修正线性单元激活层、第十四卷积层、第四批量归一化层、第四修正线性单元激活层和第十五卷积层；所述三个上采样层包括第一上采样层、第二上采样层和第三上采样层。
19.所述步骤(3)具体包括以下步骤：
20.(3a)将训练集分批次依次输入第一编码模块，第一编码模块对输入的数据进行编码得到第一特征图；
21.(3b)将第一特征图并行输入到第一解码模块和第二解码模块中，实现分割网络的前向传播，第一解码模块输出重建结果，第二解码模块输出分割结果；
22.(3c)将重建结果输入到第二个编码模块，得到第二特征图；
23.(3d)将第二特征图输入到第三个解码模块,实现网络的前向传播，得到重分割结果；
24.(3e)将分割结果与所对应的真实分割图进行对比，通过骰子损失函数计算分割损失；将重分割结果与所对应的真实分割图进行对比，通过骰子损失函数计算重分割损失，骰子损失函数的计算公式为：
[0025][0026]
其中，x为真实分割图；在计算分割损失时，y为分割结果，在计算重分割损失时，y为重分割结果；将步骤(3b)得到的重建结果与输入分割网络的待分割的训练集数据进行对比，通过交叉熵损失函数计算重建损失；
[0027]
(3f)将步骤(3e)得到的分割损失、重分割损失、重建损失进行加权求和得到总的损失结果，利用梯度下降算法反向传播训练分割网络；
[0028]
(3g)在分割网络训练次数达到所设置的训练次数后,得到训练好的分割网络。
[0029]
所述第一卷积层的卷积核大小为3
×3×
3，卷积核个数为32个；第二卷积层的卷积核大小为3
×3×
3，卷积核个数为64个；第三卷积层的卷积核大小为3
×3×
3，卷积核个数为64个：第四卷积层的卷积核大小为3
×3×
3，卷积核个数为128个；第五卷积层的卷积核大小为3
×3×
3，卷积核个数为128个；第六卷积层的卷积核大小为3
×3×
3，卷积核个数为256个；第七卷积层的卷积核大小为3
×3×
3，卷积核个数为256个；第八卷积层的卷积核大小为3
×3×
3，卷积核个数为512个；
[0030]
第一最大池化下采样层、第二最大池化下采样层和第三最大池化下采样层的大小均为2
×2×
2；
[0031]
所述第九卷积层的卷积核大小为3
×3×
3，卷积核个数为256个；第十卷积层的卷积核大小为3
×3×
3，卷积核个数为256个；第十一卷积层的卷积核大小为3
×3×
3，卷积核个数为128个；第十二卷积层的卷积核大小为3
×3×
3，卷积核个数为128个；第十三卷积层的卷积核大小为3
×3×
3，卷积核个数为64个；第十四卷积层的卷积核大小为3
×3×
3，卷积核个数为64个；第十五三卷积层的大小为3
×3×
3，卷积核的个数为4个。
[0032]
所述第一编码模块的第一卷积块作为分割网络的输入端口，第一编码模块的第一卷积块的输出结果输入到第一编码模块的第一最大池化下采样层，第一编码模块的第一最大池化下采样层的输出结果输入到第一编码模块的第二卷积块，第一编码模块的第二卷积块的输出结果输入到第一编码模块的第二最大池化下采样层，第一编码模块的第二最大池化下采样层的输出结果输入到第一编码模块的第三卷积块，第一编码模块的第三卷积块的结果输入到第一编码模块的第三最大池化下采样层，第一编码模块的第三最大池化下采样层的输出结果输入到第一编码模块的第四卷积块，第一编码模块的第四卷积块的输出结果并行输入到第一解码模块的第一上采样层、第二解码模块的第一上采样层，将第一解码模块的第一上采样层的输出结果和第一编码模块的第三卷积块的输出结果进行拼接，得到第一拼接结果，将第二解码模块的第一上采样层的输出结果和第一编码模块的第三卷积块的输出结果进行拼接，得到第二拼接结果，将第一拼接结果输入至第一解码模块的第一反卷积块，将第二拼接结果输入至第二解码模块的第一反卷积块，第一解码模块的第一反卷积块的输出结果输入至第一解码模块的第二上采样层，第二解码模块的第一反卷积块的输出结果输入至第二解码模块的第二上采样层，将第一解码模块的第二上采样层的输出结果与第一编码模块的第二卷积块的输出结果进行拼接，得到第三拼接结果，将第二解码模块的第二上采样层的输出结果与第一编码模块的第二卷积块的输出结果进行拼接，得到第四拼接结果，将第三拼接结果输入至第一解码模块的第二反卷积块，将第四拼接结果输入至第二解码模块的第二反卷积块，第一解码模块的第二反卷积块的输出结果输入至第一解码模
块的第三上采样层，第二解码模块的第二反卷积块的输出结果输入至第二解码模块的第三上采样层，将第一解码模块的第三上采样层的输出结果与第一编码模块的第一卷积块的输出结果进行拼接，得到第五拼接结果，将第二解码模块的第三上采样层的输出结果与第一编码模块的第一卷积块的输出结果进行拼接，得到第六拼接结果，将第五拼接结果输入至第一解码模块的第三反卷积块，将第六拼接结果输入至第二解码模块的第三反卷积块，第一解码模块输出重建结果，第二解码中输出分割结果，将重建结果输入到第二编码器的第一卷积块，第二编码器的第一卷积块的输出结果输入到第二编码器的第一最大池化下采样层，第一最大池化下采样层的输出结果输入到第二编码器的第二卷积块，第二卷积块的输出结果输入到第二编码器的第二最大池化下采样层，第二编码器的第二最大池化下采样层的输出结果输入到第二编码器的第三卷积块，第二编码器的第三卷积块的输出结果输入到第二编码器的第三最大池化下采样层，第二编码器的第三最大池化下采样层的输出结果输入到第二编码器的第四卷积块，第二编码器的第四卷积块的输出结果输入到第三解码器的第一上采样层，将第三解码器的第一上采样层的输出、第二个编码器的第三卷积块的输出进行拼接，将拼接结果输入到第三解码器的第一反卷积块，第三解码器的第一反卷积块的输出结果输入到第三解码器的第二上采样层，将第三解码器的第二上采样层的输出、第二编码器的第二卷积块的输出进行拼接，将拼接结果输入到第三解码器的第二反卷积块，第三解码器的第二反卷积块的输出结果输入到第三解码器的第三上采样层，将第三解码器的第三上采样层的输出、第二编码器的第一卷积块的输出进行拼接，将拼接结果输入到第三解码器的第三反卷积块得到重分割结果。
[0033]
由上述技术方案可知，本发明的有益效果为：第一，本发明通过额外的图像重建任务分支的引入，有助于分割网络学习到互补的医学图像特征，从而帮助模型更好地理解医学图像的内在结构；第二，将重建结果再次输入到分割网络中，将得到的重分割结果与真实分割图比较，从语义层面为分割网络的训练提供额外的监督信号，以提升进一步图像分割结果的准确性。
附图说明
[0034]
图1为本发明的方法流程图；
[0035]
图2为本发明中分割网络的结构示意图。
具体实施方式
[0036]
如图1所示，一种基于辅助学习任务与重分割约束的医学图像分割方法，该方法包括下列顺序的步骤：
[0037]
(1)对三维人脑核磁共振数据进行预处理，得到训练集和测试集；
[0038]
(2)构建基于辅助学习任务与重分割约束的分割网络；
[0039]
(3)将训练集输入分割网络进行训练,得到训练好的分割网络；
[0040]
(4)将测试集输入训练好的分割网络，分割网络输出得到分割结果。
[0041]
所述步骤(1)具体包括以下步骤：
[0042]
(2a)所述三维人脑核磁共振数据包括四种模态：t1、t1c、t2和flair，将四种模态的三维人脑核磁共振数据进行合并，其中这四种模态数据的原始尺寸为240*240*155，生成
尺寸为4*240*240*155大小的四通道三维数据，其中4表示模态数量，155表示每个三维人脑核磁共振数据中含有的二维切片数目，240*240分别表示图像的高度和宽度；
[0043]
(2b)对合并后的三维人脑图像数据由nii格式转换为numpy格式；
[0044]
(2c)对转换后的数据采用零-均值规范化方法进行归一化处理；
[0045]
(2d)根据随机划分将归一化处理后的图像以7：3的比例划分为训练集和测试集；
[0046]
(2e)将训练集进行随机裁剪，得到4*128*128*128的尺寸大小的训练集数据。
[0047]
在步骤(2)中，如图2所示，所述分割网络包括第一编码模块、第二编码模块、第一解码模块、第二解码模块和第三解码模块；
[0048]
所述第一编码模块和第二编码模块均由四个卷积块和三个最大池化下采样层组成，所述四个卷积块包括第一卷积块、第二卷积块、第三卷积块和第四卷积块，所述第一卷积块包括第一卷积层、第一批量归一化层、第一修正线性单元激活层、第二卷积层、第二批量归一化层和第二修正线性单元激活层；所述第二卷积块包括第三卷积层、第一批量归一化层、第一修正线性单元激活层、第四卷积层、第二批量归一化层和第二修正线性单元激活层；所述第三卷积块包括第五卷积层、第一批量归一化层、第一修正线性单元激活层、第六卷积层、第二批量归一化层和第二修正线性单元激活层；所述第四卷积块包括第七卷积层、第一批量归一化层、第一修正线性单元激活层、第八卷积层、第二批量归一化层和第二修正线性单元激活层；所述三个最大池化下采样层包括第一最大池化下采样层、第二最大池化下采样层和第三最大池化下采样层；
[0049]
所述第一解码模块、第二解码模块和第三解码模块均由三个反卷积块和三个上采样层组成，所述三个反卷积块包括第一反卷积块、第二反卷积块和第三反卷积块，所述第一反卷积块包括第九卷积层、第三批量归一化层、第三修正线性单元激活层、第十卷积层、第四批量归一化层和第四修正线性单元激活层；所述第二反卷积块包括第十一卷积层、第三批量归一化层、第三修正线性单元激活层、第十二卷积层、第四批量归一化层和第四修正线性单元激活层；所述第三反卷积块包括第十三卷积层、第三批量归一化层、第三修正线性单元激活层、第十四卷积层、第四批量归一化层、第四修正线性单元激活层和第十五卷积层；所述三个上采样层包括第一上采样层、第二上采样层和第三上采样层。
[0050]
所述步骤(3)具体包括以下步骤：
[0051]
(3a)将训练集分批次依次输入第一编码模块，第一编码模块对输入的数据进行编码得到第一特征图；
[0052]
(3b)将第一特征图并行输入到第一解码模块和第二解码模块中，实现分割网络的前向传播，第一解码模块输出重建结果，第二解码模块输出分割结果；
[0053]
(3c)将重建结果输入到第二个编码模块，得到第二特征图；
[0054]
(3d)将第二特征图输入到第三个解码模块,实现网络的前向传播，得到重分割结果；
[0055]
(3e)将分割结果与所对应的真实分割图进行对比，通过骰子损失函数计算分割损失；将重分割结果与所对应的真实分割图进行对比，通过骰子损失函数计算重分割损失，骰子损失函数的计算公式为：
[0056]
[0057]
其中，x为真实分割图；在计算分割损失时，y为分割结果，在计算重分割损失时，y为重分割结果；将步骤(3b)得到的重建结果与输入分割网络的待分割的训练集数据进行对比，通过交叉熵损失函数计算重建损失；
[0058]
(3f)将步骤(3e)得到的分割损失、重分割损失、重建损失进行加权求和得到总的损失结果，利用梯度下降算法反向传播训练分割网络；
[0059]
(3g)在分割网络训练次数达到所设置的训练次数后,得到训练好的分割网络。
[0060]
所述第一卷积层的卷积核大小为3
×3×
3，卷积核个数为32个；第二卷积层的卷积核大小为3
×3×
3，卷积核个数为64个；第三卷积层的卷积核大小为3
×3×
3，卷积核个数为64个：第四卷积层的卷积核大小为3
×3×
3，卷积核个数为128个；第五卷积层的卷积核大小为3
×3×
3，卷积核个数为128个；第六卷积层的卷积核大小为3
×3×
3，卷积核个数为256个；第七卷积层的卷积核大小为3
×3×
3，卷积核个数为256个；第八卷积层的卷积核大小为3
×3×
3，卷积核个数为512个；
[0061]
第一最大池化下采样层、第二最大池化下采样层和第三最大池化下采样层的大小均为2
×2×
2；
[0062]
所述第九卷积层的卷积核大小为3
×3×
3，卷积核个数为256个；第十卷积层的卷积核大小为3
×3×
3，卷积核个数为256个；第十一卷积层的卷积核大小为3
×3×
3，卷积核个数为128个；第十二卷积层的卷积核大小为3
×3×
3，卷积核个数为128个；第十三卷积层的卷积核大小为3
×3×
3，卷积核个数为64个；第十四卷积层的卷积核大小为3
×3×
3，卷积核个数为64个；第十五三卷积层的大小为3
×3×
3，卷积核的个数为4个。
[0063]
所述第一编码模块的第一卷积块作为分割网络的输入端口，第一编码模块的第一卷积块的输出结果输入到第一编码模块的第一最大池化下采样层，第一编码模块的第一最大池化下采样层的输出结果输入到第一编码模块的第二卷积块，第一编码模块的第二卷积块的输出结果输入到第一编码模块的第二最大池化下采样层，第一编码模块的第二最大池化下采样层的输出结果输入到第一编码模块的第三卷积块，第一编码模块的第三卷积块的结果输入到第一编码模块的第三最大池化下采样层，第一编码模块的第三最大池化下采样层的输出结果输入到第一编码模块的第四卷积块，第一编码模块的第四卷积块的输出结果并行输入到第一解码模块的第一上采样层、第二解码模块的第一上采样层，将第一解码模块的第一上采样层的输出结果和第一编码模块的第三卷积块的输出结果进行拼接，得到第一拼接结果，将第二解码模块的第一上采样层的输出结果和第一编码模块的第三卷积块的输出结果进行拼接，得到第二拼接结果，将第一拼接结果输入至第一解码模块的第一反卷积块，将第二拼接结果输入至第二解码模块的第一反卷积块，第一解码模块的第一反卷积块的输出结果输入至第一解码模块的第二上采样层，第二解码模块的第一反卷积块的输出结果输入至第二解码模块的第二上采样层，将第一解码模块的第二上采样层的输出结果与第一编码模块的第二卷积块的输出结果进行拼接，得到第三拼接结果，将第二解码模块的第二上采样层的输出结果与第一编码模块的第二卷积块的输出结果进行拼接，得到第四拼接结果，将第三拼接结果输入至第一解码模块的第二反卷积块，将第四拼接结果输入至第二解码模块的第二反卷积块，第一解码模块的第二反卷积块的输出结果输入至第一解码模块的第三上采样层，第二解码模块的第二反卷积块的输出结果输入至第二解码模块的第三上采样层，将第一解码模块的第三上采样层的输出结果与第一编码模块的第一卷积块的输
出结果进行拼接，得到第五拼接结果，将第二解码模块的第三上采样层的输出结果与第一编码模块的第一卷积块的输出结果进行拼接，得到第六拼接结果，将第五拼接结果输入至第一解码模块的第三反卷积块，将第六拼接结果输入至第二解码模块的第三反卷积块，第一解码模块输出重建结果，第二解码中输出分割结果，将重建结果输入到第二编码器的第一卷积块，第二编码器的第一卷积块的输出结果输入到第二编码器的第一最大池化下采样层，第一最大池化下采样层的输出结果输入到第二编码器的第二卷积块，第二卷积块的输出结果输入到第二编码器的第二最大池化下采样层，第二编码器的第二最大池化下采样层的输出结果输入到第二编码器的第三卷积块，第二编码器的第三卷积块的输出结果输入到第二编码器的第三最大池化下采样层，第二编码器的第三最大池化下采样层的输出结果输入到第二编码器的第四卷积块，第二编码器的第四卷积块的输出结果输入到第三解码器的第一上采样层，将第三解码器的第一上采样层的输出、第二个编码器的第三卷积块的输出进行拼接，将拼接结果输入到第三解码器的第一反卷积块，第三解码器的第一反卷积块的输出结果输入到第三解码器的第二上采样层，将第三解码器的第二上采样层的输出、第二编码器的第二卷积块的输出进行拼接，将拼接结果输入到第三解码器的第二反卷积块，第三解码器的第二反卷积块的输出结果输入到第三解码器的第三上采样层，将第三解码器的第三上采样层的输出、第二编码器的第一卷积块的输出进行拼接，将拼接结果输入到第三解码器的第三反卷积块得到重分割结果。
[0064]
实施例一
[0065]
本发明使用脑肿瘤分割(brats)2018挑战赛提供的共计285例3d mri数据进行医学图像分割的研究。该数据集由四种mr序列组成，每一个患者的脑肿瘤3d图像的尺寸为240x 240x155体素大小。肿瘤分割的标签包括背景(标签0)、坏死和无增强肿瘤(标签1)、瘤周水肿(标签2)和gd-增强肿瘤(标签4)。本发明采用随机划分方式，按照7:3的比例将数据集划分为训练集与测试集，通过计算测试集分割精度来评价分割算法的有效性。分割精度由dice score指标来衡量，其中et、wt和tc分别指增强的肿瘤区域(标签1)、整个肿瘤(标签1、2和4)和肿瘤核心(标签1和4)。增加图像重建后，多任务学习模型促进不同任务之间共享特征来提高网络整体的学习性能，因而wt、et、tc三个区域的分割性能分别提升了1.06％、0.11％和0.17％。引入将重建结果再次输入模型分支，模型整体的脑肿瘤分割结果分别提升了1.44％、0.58％和1.89％。这说明训练过程中通过鼓励约束两次分割结果足够的相似，能够在语义层面上产生额外的监督信号去指导模型的训练，以学习到更多与分割目标相关的特征信息，从而进一步优化网络的分割性能。
[0066]
表1为图像重建任务分支对于脑肿瘤分割性能的影响：
[0067]
表1
[0068][0069]
表2为本发明对脑肿瘤分割性能的影响：
[0070]
表2
[0071][0072]
通过实验的对比分析可以进一步看出本发明分类精度高。
[0073]
综上所述，本发明通过额外的图像重建任务分支的引入，有助于分割网络学习到互补的医学图像特征，从而帮助模型更好地理解医学图像的内在结构；将重建结果再次输入到分割网络中，将得到的重分割结果与真实分割图比较，从语义层面为分割网络的训练提供额外的监督信号，以进一步提升图像分割结果的准确性。