本发明涉及医学超声甲状腺结节弱监督分割,尤其是一种双支路的弱监督超声甲状腺结节分割方法及系统。
背景技术:
1、甲状腺结节作为最常见的结节病变之一,其发病率近年来呈上升趋势,因此对其进行准确的分割诊治至关重要。超声成像技术凭借着轻便、较低成本、非侵入性等已成为医疗诊断中广泛使用的技术。同时最近提出的弱监督语义分割工作缓解了超声甲状腺结节分割过程中的主观偏见与耗时费力的问题。然而,超声图像具有低对比度、斑点、阴影和大量噪声,导致甲状腺结节的边缘模糊,这使得弱监督超声甲状腺结节的分割面临极大挑战,因此迫切需要一种更加先进的弱监督超声甲状腺结节分割技术。
技术实现思路
1、本发明要解决的技术问题是:为了克服现有技术中存在的不足,提供一种双支路的弱监督超声甲状腺结节分割方法及系统。
2、本发明采用的技术方案是:一种双支路的弱监督超声甲状腺结节分割方法,包括以下步骤:
3、步骤1:对超声甲状腺数据进行预处理,添加目标框的标注;
4、步骤2:采用双支路transformer模型调制网络对超声甲状腺进行前景和背景分类,
5、所述双支路transformer模型调制网络,包括双支路transformer模型特征提取网络,辅助支路的动态调制模块,背景感知池化和混合损失,
6、双支路transformer模型的两个支路分别输入超声甲状腺图像,经过transformer主干网络生成多尺度特征图,将特征图中最深层特征进行背景感知池化,接着传入二分类的分类器中进行前景与背景的分类;
7、甲状腺结节与背景的感知使用背景感知池化,背景感知池化将目标边界框中前景和背景之间的区别检索任务;
8、步骤3:利用步骤2训练得到的分类网络权重生成伪标签;
9、步骤4:使用通过伪标签监督的segformer网络,对超声甲状腺结节分割;
10、步骤5:web端系统的超声甲状腺结节对象的分割用于医疗诊断。
11、进一步的,所述步骤2的双支路transformer模型特征提取网络,为segformer中用于增强全局注意以扩大对前景类激活映射感知的mix transformer主干网络。
12、进一步的,所述的mix transformer主干网络包含四个重叠补丁合并和四个transformer块;
13、重叠补丁合并操作分别在四个尺度上进行采样,transformer块串联了mix-ffn,mix-ffn通过卷积捕获位置信息替换位置编码。
14、进一步的,所述辅助支路的动态调制模块,包括频率通道动态核卷积分支、空间动态核卷积分支和残差连接,通过通道或空间注意力的动态核卷积,捕捉甲状腺结节的大尺寸变化;
15、动态调制模块输入特征通过卷积层输出
16、进一步的,所述的频率通道动态核卷积分支,平均划分通道维度,每组特征分配一个频率分量,将所有向量拼接得到多谱向量,多谱向量输入到全连接层;全连接层和sigmoid函数生成频率注意力特征图,再通过通道平均划分为频率注意力权重;
17、当再次进行通道划分操作时将不同尺寸的卷积核金字塔排列中进行卷积运算,将多尺度卷积特征与相应的频率通道注意力权重相乘,动态调整对象在通道维度上的特征分布,通道动态选择核卷积分支的输出。
18、进一步的,所述的于空间动态核卷积分支,
19、首先,在通道维度上对使用通道平均,
20、然后,进行卷积运算来获得空间注意力权重给定多尺度卷积处理后的特征,以垂直方式和水平方式执行平均池化操作,分别得到:
21、fiap_w∈r(c/4)×w×1(i=0,1,...,3)和fiap_h∈r(c/4)×1×h(i=0,1,...,3)
22、两种特征;
23、再将这两种特征相乘,得到与位置相关的空间注意力权重,条形空间池化增强的特征fiap_wh∈r(c/4)×w×h(i=0,1,...,3);
24、最后,对空间注意力权重与条形空间池化增强特征相乘的特征进行拼接,得到空间动态选择核卷积分支的输出值;通过衔接残差连接特征,得动态调制模块的输出的值。
25、进一步的,所述步骤2中背景感知池化将目标边界框中前景和背景之间的区别检索任务,
26、首先,将双支路transformer模型特征划分为网格;
27、然后,将每个网格中的特征聚合用于检索查询;给定查询,获得边界框中背景区域的注意力图:通过计算边界框和查询内特征间的余弦相似性,并通过relu激活函数归一化到[0,1]间,最后,用注意力图来聚集边界框中的前景区域。
28、进一步的,所述步骤3的伪标签,为对两个路径的前景类激活映射和背景类激活映射进行加权求和,获得对象区域,使用密集条件随机场方法densecrf生成伪标签。
29、进一步的,所述步骤4,对多尺度并行样本对应的模型输出进行平均,实现标签校正,并通过正则化向网络提供额外的监督信号,引入了自适应特征融合,提高并行多尺度模型输出的一致性,并实现自适应;
30、将segformer分割模型的样本按尺寸比例分别设置,分支的输出恢复到相同的大小,并添加到通道维度中,通过卷积降维后,根据通道维度将其划分为相应尺度特征的加权权重;
31、最后,构造正则化项一致性损失,不同尺度模型的输出与自适应融合输出一致,对一致性校正损失和交叉熵损失进行加权,得到最终损失。
32、一种双支路的弱监督超声甲状腺结节分割系统,包括甲状腺数据处理和目标框标注模块,甲状腺前景与背景分类模块,伪标签生成模块,伪标签监督的改进正则化分割模块和web分割显示模块;
33、甲状腺数据处理和目标框标注模块,为用于对超声甲状腺数据进行预处理和添加目标框标注的模块;
34、甲状腺前景与背景分类模块,为采用双支路transformer调制网络对超声甲状腺进行前景与背景分类的模块;
35、伪标签生成模块,为利用训练得到的分类网络权重生成伪标签的模块;
36、伪标签监督的正则化分割模块,为使用通过伪标签监督的改进正则化的segformer网络,实现超声甲状腺结节分割的模块;
37、web分割显示模块,为实现web端系统的超声甲状腺结节对象的分割用于医疗诊断模块。
38、本发明相比现有技术具有以下优点:本申请的一种双支路的弱监督超声甲状腺结节分割方法及系统,解决了超声图像对比度低,存在斑点、阴影和大量噪声,导致甲状腺结节的边缘模糊的问题,降低了弱监督超声甲状腺结节的分割面难度,综上本申请具有流程短、精度高、效果好和准确率高的特点。
1.一种双支路的弱监督超声甲状腺结节分割方法,其特征在于:包括以下步骤:
2.根据权利要求1所述的一种双支路的弱监督超声甲状腺结节分割方法,其特征在于,所述步骤2的双支路transformer模型特征提取网络,为segformer中用于增强全局注意以扩大对前景类激活映射感知的mix transformer主干网络。
3.根据权利要求2所述的一种双支路的弱监督超声甲状腺结节分割方法,其特征在于,所述的mix transformer主干网络包含四个重叠补丁合并和四个transformer块;
4.根据权利要求1所述的一种双支路的弱监督超声甲状腺结节分割方法,其特征在于,所述辅助支路的动态调制模块,包括频率通道动态核卷积分支、空间动态核卷积分支和残差连接,通过通道或空间注意力的动态核卷积,捕捉甲状腺结节的大尺寸变化;
5.根据权利要求4所述的一种双支路的弱监督超声甲状腺结节分割方法,其特征在于,所述的频率通道动态核卷积分支,平均划分通道维度,每组特征分配一个频率分量,将所有向量拼接得到多谱向量,多谱向量输入到全连接层;全连接层和sigmoid函数生成频率注意力特征图,再通过通道平均划分为频率注意力权重;
6.根据权利要求4所述的一种双支路的弱监督超声甲状腺结节分割方法,其特征在于,所述的于空间动态核卷积分支,
7.根据权利要求1所述的一种双支路的弱监督超声甲状腺结节分割方法,其特征在于,所述步骤2中背景感知池化将目标边界框中前景和背景之间的区别检索任务,
8.根据权利要求1所述的一种双支路的弱监督超声甲状腺结节分割方法,其特征在于,所述步骤3的伪标签,为对两个路径的前景类激活映射和背景类激活映射进行加权求和,获得对象区域,使用密集条件随机场方法densecrf生成伪标签。
9.根据权利要求1所述的一种双支路的弱监督超声甲状腺结节分割方法,其特征在于,所述步骤4,对多尺度并行样本对应的模型输出进行平均,实现标签校正,并通过正则化向网络提供额外的监督信号,引入了自适应特征融合,提高并行多尺度模型输出的一致性,并实现自适应;
10.一种双支路的弱监督超声甲状腺结节分割系统,其特征在于,包括甲状腺数据处理和目标框标注模块,甲状腺前景与背景分类模块,伪标签生成模块,伪标签监督的改进正则化分割模块和web分割显示模块;