本发明属于计算机视觉,具体涉及一种基于强化注意力机制上下文桥接的三维肝脏血管分割模型及其建立方法与图像分割方法。
背景技术:
1、在过去的几十年里,由于人们的平均寿命延长、久坐不动的生活方式和持续性的营养过度,肝病逐渐成为世界范围内死亡的主要原因之一。尽管人类已经开发出了相对应的疫苗和抗病毒药物,全球肝病负担仍在进一步加重。据估计,在中国约有五分之一的人口受到某种形式的肝脏疾病困扰,包括乙型肝炎病毒、丙型肝炎病毒、肝硬化、肝癌、非酒精脂肪肝、酒精肝病、药物诱导肝损等。
2、由于一些较为严重的肝脏疾病极大地威胁了患者的生命安全,通常需要进行肝脏外科手术来祛除病灶,早诊断早治疗是重要措施。而在进行肝脏外科手术切除肝脏肿瘤前,应准确定位肝血管,了解肝脏血管间肿瘤的详细位置及血管直径等信息可以决定手术的结果。因为一旦术中损伤血管,出血速度很快,若不能及时控制,则会造成短时间内机体血流动力学不稳定,使手术期输血量增加,甚至被动地改变手术方式。这不仅会增加输血相关并发症风险,还会引起患者术后肿瘤复发,降低患者生存率。所以肝脏血管的精确分割是创建肿瘤外科规划工具和医学可视化应用的重要前提,精确的肝脏血管分割为肝脏外科手术提供有力的保障,能够极大地提高患者的存活率,最大程度上避免术中意外情况的发生。
3、但是,由于肝脏中的血管树复杂且高度交织,精确的分割肝脏血管一直是一项具有挑战性的任务。医生人工进行肝脏血管分割是一项耗时且繁琐的任务,在分秒必争的临床治疗中有很大的局限性,所以由计算机实现精确地肝脏血管分割一直是一个亟待解决的实际问题。
4、传统的阈值分割、区域生长和图像滤波等算法容易受到医学图像中噪声的干扰,很难实现精细化的血管分割。深度神经网络模型具有自动特征提取能力、高分辨率空间信息处理能力以及精细的边缘和形状检测能力等,这使得它可以完成更精细、更准确的肝脏血管分割。
5、目前国内外实现的肝脏血管分割网络模型大致可以分为基于cnn和基于transformer两种,这两种模型结构在肝脏血管分割任务中体现出的优缺点都非常明显。基于cnn的网络架构,计算效率高、具有空间不变性、通过卷积核进行局部感知,能够很好地处理肝脏血管图像中的细节,但难以捕捉图像中相距较远的像素之间的依赖关系,对血管的整体走向和分布信息捕捉不够充分;基于transformer的网络架构利用注意力机制,可以捕捉图像中所有位置之间的依赖关系,非常适合处理全局信息,这对于识别和分割全肝脏血管的复杂结构很有帮助,可它计算比较复杂、对数据的需求量比较大并且缺乏局部特征提取能力。
技术实现思路
1、本发明要克服现有技术的上述缺点,提出基于强化注意力机制上下文桥接的三维肝脏血管分割模型及其建立方法与图像分割方法、分割装置。
2、第一方面,本发明提出一种基于强化注意力机制上下文桥接的三维肝脏血管分割模型,包括:
3、输入层,用于接收输入三维肝脏医学ct图像数据得到图像特征;
4、第一至第四图像重叠特征编码层,用于将低维度的图像特征进行重叠特征编码操作,得到更高维图像特征的同时缩小图像特征的宽度、高度、深度;
5、第一至第四强化注意力机制下采样层,与上文所述第一至第四图像重叠特征编码层依次交替连接,用于特征提取并生成四种不同尺度图像特征;
6、串联的第一至第四强化注意力机制上下文桥接层,用于将多尺度图像特征融合并进一步提取特征,获得多尺度图像特征的局部和全局信息的关联;
7、第一至第四图像块扩张层,用于将高维度的图像特征重新划分维度,得到更低维度的图像特征的同时,增加图像特征的宽度、高度、深度;
8、第一至第四强化注意力机制上采样层,与上文所述第一至第四图像块扩张层依次交替连接,用于对不同尺度图像特征递归拼接并进一步提取特征,得到最终的图像特征;
9、输出层,用于计算最终图像特征并生成三维肝脏血管分割结果。
10、根据本发明的一个实施例,所述图像重叠特征编码模层包含三维卷积操作和层标准化操作。三维卷积操作是指对图像特征在宽度、高度、深度三个维度进行卷积操作,捕捉和利用数据中的三维空间信息;层标准化操作是指对每个样本单独进行标准化,稳定激活值的分布,有助于加快训练过程并提高模型性能;
11、根据本发明的一个实施例,所述强化注意力机制下采样层(或强化注意力机制上采样层)本身不改变图像特征维度,在模型工作流程中分别和图像重叠特征编码层(或图像块扩张层)组合,达到提取特征并同时下采样(或上采样)的效果。所述强化注意力机制下采样层(或强化注意力机制上采样层),具体包括:
12、层标准化操作,对每个样本单独进行标准化;
13、高效自注意力模块,在自注意力机制(self-attention)基础上利用空间缩减比来降低输入图像特征的空间分辨率,从而减低矩阵乘法复杂度,提高自注意力机制计算效率;
14、混合强化前馈神经网络,在原始的前馈神经网络中嵌入一个深度卷积(depth-wise conv),串联三层的层标准化操作并添加三个跳跃连接,将输入与每个层标准化操作输出直接相加,构建一种残差模块,保证神经网络具有正向作用。
15、根据本发明的一个实施例,所述强化注意力机制上下文桥接层,具体包括:
16、图像特征变形与拼接,用于对多尺度图像特征进行变形统一并组合;
17、混合高效注意力特征提取,用于对混合的图像特征进行特征提取;
18、残差连接,用于保持模型训练时梯度的稳定性,减轻训练难度;
19、混合强化前馈神经网络,与上述混合强化前馈神经网络相同,用于提高模型的表达能力。
20、第二方面,本发明提出一种基于强化注意力机制上下文桥接的三维肝脏血管分割模型的建立方法,应用于所述的基于强化注意力机制上下文桥接的三维肝脏血管分割模型,所述方法包括:
21、获取肝脏三维肝脏医学ct图像数据及其对应的经过医学专业人员标注的肝脏血管标签数据;
22、对获取到的数据进行数据增强操作,按照4:1的分配比作为模型训练时的训练集和验证集;
23、将所述训练集输入到所述的基于强化注意力机制上下文桥接的三维肝脏血管分割模型进行训练,与此同时,使用所述验证集对每一轮训练得到的模型进行准确性验证。迭代这一过程直到损失函数达到预定目标(或称模型收敛);
24、迭代结束后,保存并输出最优的三维肝脏血管分割模型。
25、根据本发明的一个实施例,所述数据增强操作包括如下:
26、重采样,按照设定好的标准体素间距,进行双线性插值操作,生成符合特定物理间隔的图像特征数据。
27、特征值裁剪,按照规定的有效特征值范围进行裁剪,限制数据值在指定的范围内,以确保数据不会超出预期的边界。
28、空间填充,按照规定的宽度、高度和深度对不满足要求的数据进行填充操作,保证输入大小相同。
29、随机翻转,对宽度、高度和深度三个维度进行随机的翻转,保证输入图像特征的随机性,避免模型过拟合。
30、随机特征值变化,对图像特征值进行随机放缩、随机偏移操作,增加训练数据多样性,避免模型过拟合。
31、根据本发明的一个实施例,所述误差设定要求如下:
32、判断模型训练是否收敛时,要求模型在训练集上损失值不超过0.1,验证集上损失值不大于0.25,并且推理过程中三维肝脏血管分割结果准确率大于70%。
33、根据本发明的一个实施例,所述损失函数采用diceceloss损失函数。
34、所述diceceloss损失函数是monai(medical open network for ai)库中的一个损失函数,专门用于解决医学图像分割任务,它结合了dice损失函数和交叉熵(crossentropy)损失函数,以解决单独使用这两种损失函数时的局限性,从而提高分割模型的性能。
35、其中dice损失函数衡量预测分割结果与真实分割标签之间的重叠程度,其公式为:
36、
37、交叉熵损失用于衡量分类任务中预测概率分布与真实概率分布之间的差异,其公式为:
38、cross entropy loss=-∑igi log pi
39、其中,pi用于表示预测值,gi用于表示真实值。
40、进一步的,diceceloss损失函数的公式为:
41、diceceloss=α×dice loss+β×cross entropy loss
42、其中,α和β为自定义超参数,用于平衡两种损失函数的贡献。
43、第三方面,本发明提出了一种基于强化注意力机制上下文桥接的三维肝脏血管分割方法,包括以下步骤:
44、获取待分割的三维肝脏医学ct图像数据;
45、将待分割的三维肝脏医学ct图像数据输入到经训练的三维肝脏血管分割网络,获得血管分割结果.
46、基于所述血管分割结果输出对应三维分割结果。
47、第四方面,本发明提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的基于强化注意力机制上下文桥接的三维肝脏血管分割模型的训练方法。
48、第五方面,本发明提出了一种电子设备,其特征在于,包括:
49、存储器,用于存储应用计算机程序及其产生的数据;
50、处理器,用于执行所述存储器存储的计算机程序,以使所述电子设备实现上述基于强化注意力机制上下文桥接的三维肝脏血管分割模型的训练方法。
51、本发明的核心是通过科学地结合cnn和transformer模型架构来搭建一种基于强化注意力机制上下文桥接的深度神经网络,在保证对肝脏血管复杂结构出色的识别、分割能力的同时,降低了计算复杂度,保证空间不变性,充分提取肝脏血管细节特征,并对特征提取模块进行了特定的优化。在经过一定的训练后,本发明可以实现三维肝脏血管的精确分割、辅助医生诊断肝脏血管、肿瘤等疾病,为实现肝脏外科手术规划和医学可视化的应用打下坚实的基础。进一步的,本发明能够提高医生诊断效率,降低手术风险,保护患者生命健康安全。
52、本发明的有益效果:
53、本发明通过科学地结合cnn和transformer,实现了多尺度特征融合以及高效的计算和内存使用,具备强大的全局和局部特征提取能力、处理长程依赖关系的能力、以及优异的鲁棒性和泛化能力,帮助医生实现更加准确、精细的三维肝脏血管分割,具有广泛的应用前景。
1.一种基于强化注意力机制上下文桥接的三维肝脏血管分割模型,其特征在于,包括:
2.根据权利要求1的基于强化注意力机制上下文桥接的三维肝脏血管分割模型,其特征在于,强化注意力机制下采样层或强化注意力机制上采样层,本身不改变图像特征维度,在模型工作流程中分别和图像重叠特征编码层或图像块扩张层组合,达到提取特征并同时下采样或上采样的效果,具体包括:
3.根据权利要求1的基于强化注意力机制上下文桥接的三维肝脏血管分割模型,其特征在于,强化注意力机制上下文桥接层,具体包括:
4.如权利要求1所述的一种基于强化注意力机制上下文桥接的三维肝脏血管分割模型的建立方法,其特征在于,包括如下步骤:
5.根据权利要求4所述的基于强化注意力机制上下文桥接的三维肝脏血管分割模型的建立方法,其特征在于,所述数据增强操作包括重采样、特征值裁剪、空间填充、随机翻转、随机特征值变化。
6.根据权利要求4所述的方法,其特征在于,所述损失函数采用diceceloss损失函数,dice损失函数衡量预测分割结果与真实分割标签之间的重叠程度,其公式为:
7.根据权利要求4所述的方法,其特征在于,判断模型训练是否收敛的条件是:模型在训练集上损失值不超过0.1,验证集上损失值不大于0.25。
8.一种基于强化注意力机制上下文桥接的三维肝脏血管分割方法,包括以下步骤:
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求8任一项所述基于强化注意力机制上下文桥接的三维肝脏血管分割方法。
10.一种电子设备,其特征在于,包括: