本公开涉及计算机视觉,具体地,涉及一种基于标签对齐的组织学全切片病理图像分析方法及系统。
背景技术:
1、全切片病理图(whole slide pathological image)是通过数字扫描技术将整个组织切片转化为的高分辨率的数字图像,能够用于帮助医生和病理学家全面、详细地分析病理标本。病理学诊断作为临床癌症诊断的“金标准”,对确定患者的治疗方案及预后意义重大。因此,病理图分析在医学临床和研究领域都扮演着重要的角色。传统病理诊断采用人工阅片的方式,存在准确率低、工作量大的问题。
2、近年来,在深度学习领域,以卷积神经网络(cnn)为代表的一系列方法应用在医学图像分析任务中,其在速度和精度上都超越了传统方法。然而,将通用的深度学习方法直接应用于病理图分析时存在如下缺陷:
3、(1)存储和计算资源开销巨大,由于全切片病理图具有超高分辨率,其一张图片的大小是常见图像的千倍乃至万倍。如果采用常用的神经网络处理病理图像,训练过程中所需要的存储和计算资源开销是研究小组和医院设备无法承担的。资源开销限制了深度学习模型对病理图进行推理的应用前景。
4、(2)标签的获取代价昂贵,由于全切片病理图中,医学上“感兴趣”的区域,即包含病变的区域往往分布分散,且相对于全图面积较小,如果按照通用深度学习的方法让医生去进行标记,需要耗费大量的人力、物力。
5、上述缺陷限制了通用深度学习方法在全切片病理图像分析任务中的应用,为了突破这一限制,研究者们采用了多实例学习的框架,试图将病理图像化整为零之后,再采用神经网络进行学习,其切割出的子图通过特征提取器和下游聚合器两个阶段后,得到完整病理图像的诊断结果。但是,当前的多实例学习框架较多关注下游的聚合器创新,而忽略了特征提取器,这一点制约了最终病理图像诊断的精度。
技术实现思路
1、针对现有技术中的缺陷,本公开的目的是提供一种基于标签对齐的组织学全切片病理图像分析方法及系统。
2、为实现上述目的,根据本公开的第一方面,提供一种基于标签对齐的组织学全切片病理图像分析方法,包括:
3、获取多个原始组织学全切片病理图像;
4、将所述原始组织学全切片病理图像进行预处理,确定多个子图;
5、根据所述子图对应的原始组织学全切片病理图像的bag级别标签,确定所述子图的分类标签;
6、采用所述子图和所述子图的分类标签对预设的simmil网络进行训练,确定训练完成的特征提取器;
7、将待测子图输入所述训练完成的特征提取器,确定所述待测子图的隐层表征向量。
8、可选地,所述将所述原始组织学全切片病理图像进行预处理,确定多个子图,包括:
9、将多数原始组织学全切片病理图像进行分离处理,确定前景区图像和背景区图像;
10、根据预设的分辨率,将所述前景区图像进行分割处理,确定具有所述预设的分辨率的所述多个子图。
11、可选地,所述根据所述子图对应的原始组织学全切片病理图像的bag级别标签,确定所述子图的分类标签,包括:
12、基于所述子图对应的原始组织学全切片病理图像的分类标签为bag级别标签,赋予所述子图与所述子图对应的原始组织学全切片病理图像相同的bag级别标签。
13、可选地,所述预设的simmil网络包括resnet主干网络、强数据增强模块、多层感知机分类模块、对称交叉熵损失模块。
14、可选地,所述采用所述子图和所述子图的分类标签对预设的simmil网络进行训练,确定训练完成的特征提取器,包括:
15、将具有分类标签的子图输入所述强数据增强模块,输出经过数据增强处理的图像;
16、将所述经过数据增强的图像输入所述resnet主干网络,输出所述子图对应的隐层特征;
17、将所述子图对应的隐层特征输入所述多层感知机分类模块,输出预测的子图的分类标签。
18、可选地,所述采用所述子图和所述子图的分类标签对预设的simmil网络进行训练,确定训练完成的特征提取器,还包括:
19、将所述预测的子图的分类标签和所述子图的分类标签输入所述对称交叉熵损失模块,确定交叉熵损失和逆交叉熵损失;
20、根据所述交叉熵损失和所述逆交叉熵损失优化所述预设的simmil网络,确定所述训练完成的特征提取器。
21、可选地,所述数据增强处理包括随机尺寸裁剪、弱色彩抖动、随机高斯模糊、随机水平翻转、随机灰度化中任一种或多种组合。
22、根据本公开的第二方面,提供一种基于标签对齐的组织学全切片病理图像分析系统,包括:
23、获取模块,用于获取多个原始组织学全切片病理图像;
24、预处理模块,用于将所述原始组织学全切片病理图像进行预处理,确定多个子图;
25、标签对齐模块,用于根据所述子图对应的原始组织学全切片病理图像的bag级别标签,确定所述子图的分类标签;
26、特征提取器训练模块,用于采用所述子图和所述子图的分类标签对预设的simmil网络进行训练,确定训练完成的特征提取器;
27、特征提取模块,用于将待测子图输入所述训练完成的特征提取器,确定所述待测子图的隐层表征向量。
28、根据本公开的第三方面,提供一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现本公开的第一方面提供的方法中任一项所述方法的步骤。
29、根据本公开的第四方面,提供一种电子设备,其特征在于,包括:
30、存储器,其上存储有计算机程序;
31、处理器,用于执行所述存储器中的所述计算机程序,以实现第一方面提供的方法中任一项所述方法的步骤。
32、与现有技术相比,本公开实施例具有如下至少一种有益效果:
33、通过上述技术方案,对原始组织学全切片病理图像进行预处理,获取多个子图,将子图与子图对应的原始组织学全切片病理图像进行标签对齐,根据子图对应的原始组织学全切片病理图像的bag级别标签为子图赋予分类标签,并采用具有分类标签的子图训练特征提取器,采用特征提取器提取待测子图的隐层表征向量,增强待测图像的图像特征,提高提取的图像的隐层表征向量的准确性,为下游的病理分类任务奠基,提高病理图像分析的准确性。
1.一种基于标签对齐的组织学全切片病理图像分析方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述原始组织学全切片病理图像进行预处理,确定多个子图,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述子图对应的原始组织学全切片病理图像的bag级别标签,确定所述子图的分类标签,包括:
4.根据权利要求1所述的方法,其特征在于,所述预设的simmil网络包括resnet主干网络、强数据增强模块、多层感知机分类模块、对称交叉熵损失模块。
5.根据权利要求4所述的方法,其特征在于,所述采用所述子图和所述子图的分类标签对预设的simmil网络进行训练,确定训练完成的特征提取器,包括:
6.根据权利要求5所述的方法,其特征在于,所述采用所述子图和所述子图的分类标签对预设的simmil网络进行训练,确定训练完成的特征提取器,还包括:
7.根据权利要求5所述的方法,其特征在于,所述数据增强处理包括随机尺寸裁剪、弱色彩抖动、随机高斯模糊、随机水平翻转、随机灰度化中任一种或多种组合。
8.一种基于标签对齐的组织学全切片病理图像分析系统,其特征在于,包括:
9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
