一种基于相似度特征图的弱监督自动诊断和分级系统的制作方法

1.本发明涉及的是深度学习、计算机视觉、医疗影像技术领域，具体涉及一种基于相似度特征图的弱监督自动诊断和分级系统。


背景技术：

2.医学疾病主要依靠mri来进行判断，美国国家脑瘤学会报告提到，2017年脑瘤患者约79270人，生存率为34.70％，其中有16947人被诊断出患有恶性脑肿瘤，并因病死亡。2016年也提到有77670人患有脑瘤，生存率为34.40％。虽然由于医疗水平的提高，生存率提高了0.30％，但患脑瘤的人数仍然增加了2％，这说明在早期诊断肿瘤出越来越重要。脑胶质瘤是最为常见的原发性颅内肿瘤，占据颅内肿瘤的40％到50％，5年病死率仅次于胰腺癌和肺癌，是神经外科中最难治的肿瘤之一。脑胶质瘤的示意图如图1所示。
3.世界卫生组织(who)中枢神经系统肿瘤分类将脑胶质瘤分为i-iv级，i、ii级为低级别脑胶质瘤，iii、iv级为高级别脑胶质瘤，其中i级主要以毛状星形细胞瘤为主。ii级肿瘤多为星形细胞瘤或少突胶质瘤，约占胶质瘤的30％-40％，i级、ii级早期治疗效果的理想。iii级是中间变性星形细胞瘤，占脑胶质肿的15％-25％。一般从ii级开始转化。iv级是胶质母细胞瘤，占胶质瘤的三分之一。iii级和iv级治疗困难，预后效果不理想。胶质瘤各级别的mri如图二所示。
4.此外，值得注意的是胶质瘤不仅在治疗上困难，在确诊之前也常被神经外科医生确诊为其他的神经科疾病，这在一定程度上耽误了患者的最佳治疗时间。这主要是因为在临床环境中，大脑核磁共振成像(mri)通常用于诊断患者是否患有胶质瘤，这种基于影像分析的诊断模式完全依赖于医疗资源的分配和供给关系，在一些医疗资源薄弱的地区，医生数量严重不足，影像诊断又依赖于人的知识以及经验，导致分析结果可能多变且不准确。因此，研发一个快速且准确的胶质瘤自动诊断和分级系统，更有助于医生为其制定良好的治疗方案，提升治愈率。


技术实现要素：

5.针对现有技术上存在的不足，本发明目的是在于提供一种基于相似度特征图的弱监督自动诊断和分级系统，将相似度特征图应用于脑胶质瘤的诊断和分级，在较少的人工标注情况下，通过大脑核磁共振成像(mri)来判断患者是否患有胶质瘤，若患有胶质瘤再提取出病变区域对其进行分类，来判断其胶质瘤的分级。其分析诊断的精度可以达到甚至超过国际专家的水平，一方面可以辅助医生做出更加准确的医学决策，减少了误诊或者过度诊断率，提升患者的治疗效果和生存率，另一方面，该胶质瘤诊断和分级系统可以节省大量人力，同时缓解了由于医疗资源分布不均带来的一系列诊断问题。
6.为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于相似度特征图的弱监督自动诊断和分级系统，包括分类网络、特征融合网络以及分级网络这三个部分，各部分具体实现如下：
7.所述的分类网络:采取resnet-modify模块，通过1x1的卷积给与通道不同的权重值，让通道之间可以根据自适应的权重值进行特征组合。
8.所述的特征融合网络:根据分类网络得到正常人的特征图和病人的特征图进行特征融合。
9.所述的分级网络:基于特征融合网络提取出的特征图x，经过分级网络后，输出对应的患者分级。
10.一种基于相似度特征图的弱监督自动诊断和分级方法，包括以下步骤：病人和正常的mri图像进行配对，形成1000对数据样本，利用分类网络提取出每一对mri图像的特征，再将每一队mri图像的特征进行拼接再输入到特征融合网络进行特征融合，融合之后再对病人进行胶质瘤分级。
11.所述的一种基于相似度特征图的弱监督自动诊断和分级方法，具体步骤如下：
12.(1)采集1000位病人和1000张正常人大脑核磁共振成像。此数据集要求由三名影像科医生对其进行判别病人是否患有胶质瘤，若患有胶质瘤的核磁共振成像还需标注出当前处于分级，对于有争议的图片将进行复议。2000张图片按照60％：20％：20％划分训练集、验证集和测试集。
13.(2)包含数据增强和数据预处理过程，准备的tiff格式的脑部核磁共振图片可读取三个维度，因为第一维度和第三维度的图片尺寸分别过大和过小，所以选择了大小适中的第二维度的图片用于模型训练；神经网络的输入尺寸为512*512，并且在训练集上通过随机旋转(0
°
，90
°
，180
°
，270
°
)和随机翻转进行数据增强。
14.(3)提出了基于弱监督的自动诊断与分级的网络，包括分类网络、特征融合网络以及病变分级网络。其中网络中的分类网络是共享权重的，其中，分类网络中，提出了resnet-modify的模块来自适应融合特征，提高分类准确率。在特征融合网络部分，提出了相似度特征图的计算方式，计算出了正常mri图像和病人mri图像的特征图异同，帮助提取出并病变区域，并采用多操作来对特征进行融合。在分级网络部分，因为病变区域常常聚集在一起，因此采用了上下文注意力(cab)模块来提取出上下文的信息，有助于提高分类准确率。
15.(4)在模型的训练过程中先采用2000张mri图像先训练好分类网络，随后再将病人和正常的mri图像进行配对，形成1000对数据样本，再利用分类网络提取出每一对mri图像的特征，随后将每一队mri图像的特征进行拼接再输入到特征融合网络进行特征融合，融合之后再对当前病人进行胶质瘤分级。
16.(5)在模型预测时，医生只需要输入当前病人的mri，即可利用分类网络得出病人是否患有胶质瘤，若患有胶质瘤，系统会提取出分类网络主干部分的特征图，再跟系统保存的正常人的特征图拼接在一起，进行特征融合，再利用分级网络输出当前患者的分级。
17.本发明的有益效果：
18.本发明是在弱监督的情况下进行，可在减少人工标注的情况下实现脑胶质瘤的自动分级诊断，极大地节省了人力，同时具有较高的准确率，并且通过结合相似度特征图和自适应的特征融合方式，进一步丰富了特征，提升了判断的准确性，通过大量实验验证了本专利方法的可行性和有效性，同时该系统的提出在医学领域上也具有重要的意义。
附图说明
19.下面结合附图和具体实施方式来详细说明本发明；
20.图1为脑胶质瘤示意图；
21.图2为胶质瘤mri示意图；
22.图3为基于弱监督的自动诊断与分级的网络示意图；
23.图4为本发明resnet-modify的模块设计(自适应融合通道特征)示意图；
24.图5为本发明的相似度特征图计算示意图；
25.图6为本发明的多操作提取融合特征示意图；
26.图7为本发明的上下文注意力模块(cab)示意图。
具体实施方式
27.为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
28.实施例1：本实施例采用以下技术方案：一种基于相似度特征图的弱监督自动诊断和分级方法，包括如下步骤：
29.1.首先利用1000位病人和1000张正常人大脑核磁共振成像训练好分类网络。给定一个输入图像x(512x512)，其特征通道数为c(1)通过分类网络的主干部分得到跟输入一样大小的特征图x_output(512x512),通道数为1。特征图再经过全连接层和输出层，预测出患者是否患有胶质瘤。为能更有效的提取特征，分类网络中采取的resnet-modify模块如图四所示，通过1x1的卷积给与了通道不同的权重值，让通道之间可以根据自适应的权重值进行特征组合。
30.2.再根据分类网络得到正常人的特征图和病人的特征图进行特征融合。给定特征图x1和x2，为进一步丰富特征的多样性，将针对x1和x2进一步计算出相似度差异图x3、x4和x5，具体x3的计算方式如图三所示。借助卷积窗口的概念，每次都只对x1和x2中的小部分图片通过感知哈希算法进行相似度计算，最后将相似度输出到x3、x4和x5中。x3中采用的窗口大小为3x3，x4和x5分别为5x5和7x7。只取小部分进行相似度计算是基于大脑的瘤细胞经常出现在大脑的小部分区域，而不同的大小可以更好的模拟出瘤细胞的大小。因此相似度计算有助于提取出瘤细胞的位置。为保证x3的大小会与x1和x2一致，在进行计算之前会进行padding操作，图五中的橙色部分即为填充的像素。
31.3.然后将x1、x2、x3、x4和x5拼接在一起，分别经过7种特征提取的操作得到7种特征图，再将7种特征图拼接在一起，经过1x1卷积进行特征组合，重要的特征图将分配更高的权重，反之则更低的权重，旨在尽可能发掘更有效的特征组合方式，最终得到512x512x1的图片，如图六所示。7种特征提取操作包括：max_pool_3x3、avg_pool_3x3、skip_connection、sep_conv_3x3、sep_conv_5x5、dil_conv_3x3、dil_conv_5x5。
32.4.最后在分级网络中进行患者分级。
33.给定特征图x，经过分级网络后，输出对应的患者分级。在这部分分级网络主要采取上下文注意力的模块来提取特征图中每个位置与同一水平或垂直列中的其他位置之间的相似性，如图七所示。
34.在训练过程中，本专利基于mini-batch的随机梯度下降法(sgd)
35.进行优化，动量因子设定为0.9更新所有权重，并对网络中各参数使用l2正则，权重衰减因子为0.0005。
36.对于分类结果，本专利正确率作为性能度量，他可以衡量预测标签与真实标签之间的一致性。正确率(0-1)越大代表性能越好。
37.本实施例主要在特征融合网络部分，提出了相似度特征图的计算方式，计算出了正常mri图像和病人mri图像的特征图异同，帮助提取出病变区域，并采用多操作来对特征进行融合。这一系统只需医生标注出此病人的大脑核磁共振成像(mri)是否胶质瘤，无需对病变区域进行标注，减少了标注成本，并能直接输出病人的胶质瘤分级。
38.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。