本发明属于图像分割,尤其涉及一种改进segformer的视杯视盘同步分割方法及系统。
背景技术:
1、青光眼是一种损害视神经并可导致视力丧失的眼部疾病,青光眼的早期防治可有效降低患者失明的风险。彩色眼底摄影是一种无创的视网膜成像方式,彩色眼底图像的普及使得视盘(optic disc,od)和视杯(optic cup,oc)检查成为青光眼重要的早期筛查手段,可通过计算眼底图像中的视杯盘比(cup to disc ratio,cdr)辅助青光眼的诊断。图1和图2对比了正常人的眼底图像和青光眼患者的眼底图像。临床上,医务工作者凭经验分割od与oc的边界并估判cdr,进而判别患者青光眼严重程度。但是人工判别方法受医务工作者经验差异的影响,具有显著的不确定性和主观性;且海量、异质眼底图像的产生,亦给青光眼人工判别方法提出了挑战。因此,利用计算机辅助判读,研究眼底图像中od和oc自动分割方法具有重要的意义,其可提升眼底图像的判读效率,有利于青光眼疾病的大规模早期筛查。
2、许多学者将深度学习的理论和方法应用于视杯视盘的分割。如sreng等人提出了由三个不同的卷积神经网络组成gardnet,分别针对原始大小的图像、裁剪聚焦于视盘区域的图像,以及经过极坐标变换的裁剪图像进行训练。bian等人提出了一种基于cdr的视盘和视杯分割模型,将级联神经网络技术应用于视盘和视杯的分割过程。bengani等人通过应用迁移学习和半监督学习技术,提出了一种用于视网膜眼底图像的自动视神经盘图像分割方法。liu等人采用密集连接的深度可分离卷积网络作为主干网络,在输入端添加多尺度图像金字塔以拓宽网络,采用图像形态学对视盘和视杯分割结果进行后处理。hu等人提出了基于transformer的青光眼预测网络,用于不规则采样的连续眼底图像,利用卷积神经网络将输入嵌入到特定维度,以解决transformer架构需要大规模训练数据的问题。上述方法提高了眼底图像中oc/od的分割精度。但在眼底图像中,oc与od边界的模糊性,形态的不规则性,以及重叠性仍是制约眼底图像中oc/od的分割精度和效率的重要因素。
3、鉴于上述分析,现有技术存在的急需解决的技术问题为:人工判别方法受医务工作者经验差异的影响,具有显著的不确定性和主观性;海量、异质眼底图像的产生,亦给青光眼人工判别方法提出了挑战;oc与od边界的模糊性,形态的不规则性,以及重叠性制约了oc/od分割的精度和效率。
技术实现思路
1、针对现有技术存在的问题,本发明提供了一种改进segformer的视杯视盘同步分割模型(evc-segformer),目的是提高眼底图像中视杯视盘的分割精度和效率。
2、本发明evc-segformer视杯视盘同步分割模型是这样实现的,比较选择mit-b1作为分割模型的主干网络,其兼顾分割效率的同时提取更深层次的视杯视盘信息特征;利用evc模块改进segformer网络,加强全局特征与局部特征信息提取,提高视杯视盘的分割精度。
3、s1,使用编码器提取眼底图像中视杯视盘的特征,输出高分辨率浅层特征和低分辨率精细特征;
4、s2,evc模块通过低分辨率精细特征学习视杯视盘的边缘特征;
5、s3,使用解码器融合和细化特征图,完成分割任务。
6、进一步,利用segformer的视杯视盘同步分割:
7、segformer由encoder和decoder组成,encoder是一个多层的transformer编码器,由四层的transformerblock组成,可产生高分辨率的浅特征和低分辨率的精细特征;相比于其他的transformerblock,segformer剔除了位置编码模块,采用3×3卷积表示位置信息;decoder负责接收多尺度的编码特征,结构为轻量级的解码器,仅由上采样和多层感知机组成。
8、进一步,加入evc模块,提高模型获取视杯以及视杯视盘边缘特征的能力:
9、在segformer的编码器和解码器之间加入evc模块,evc包含两个并行部分:一个是用以捕获全局信息的轻量化的多层感知器(lightweight multi-layer perceptron,light-weight,mlp),另一个是可学习视觉中心(learnable visual center,lvc)以聚合层内局部区域特征;轻量级mlp和lvc的结果特征图沿着通道维度拼接,作为evc的输出;计算过程如公式(1)所示。
10、x=cat(mlp(xin);lvc(xin))#(1)
11、xin为evc模块的输入。
12、进一步,轻量级mlp有助于模型理解视杯视盘和背景间的复杂关联,从而在不显著增加计算负担的前提下增强对视杯视盘结构形态的理解,提高模型理解图像中视杯视盘背景相隔较远部分之间的关系,提高模型全局信息的获取能力;轻量级mlp主要由两个残差模块组成:基于dw卷积的模块和基于通道mlp的模块。两个模块后都会进行通道缩放操作和droppath操作,以提高泛化性和鲁棒性;
13、对于基于dw卷积的模块,首先将xin进行组归一化处理,然后输入到dw卷积层,最后进行xin的残差连接;与传统的空间卷积相比,dw卷积可以提高特征表示能力,同时降低计算成本,计算过程如公式(2)所示;
14、对于基于通道mlp的模块,首先将进行组归一化,然后实施通道mlp,最后进行与的残差连接。与空间mlp相比,通道mlp不仅可以有效降低计算复杂度,而且可以满足一般视觉任务的要求,计算过程如公式(3)所示:
15、
16、其中,是基于dw卷积模块的输出,gn(·)是组归一化,dwconv(·)是卷积核大小为1×1的dw卷积,cmlp(·)是通道mlp。
17、进一步,lvc与轻量级mlp并行工作,使模型能够更好地理解并区分背景和视杯、视盘的边缘细节特征,提高模型局部细节特征的获取能力;
18、lvc是一种具有固有字典的编码器,有两个组成部分:1、固有码本b={b1,b2,…,bk};2、一组用于lvc的缩放因子s={s1,s2,…,sk}。lvc首先通过卷积层对xin进行编码,编码后的特征由cbr模块处理,该模块由3×3卷积、bn层以及relu激活函数组成,通过上述步骤后,将编码后的特征输入码本,利用缩放因子s依次使和bk映射相应的位置信息,整个图像关于第k个码字的信息可以通过以下公式计算:
19、
20、是第i个像素点;bk是第k个可学习的视觉码字;sk是第k个缩放因子;是与码字对应的每个像素位置的信息;k是视觉中心的总数。
21、然后使用φ(·)融合所有ek,计算出整个图像相对于k个码字的完整信息,计算过程如下所示:
22、
23、e为码本的输出,φ(·)包含relu和bn层。
24、将e输入到全连接层和1×1卷积层,以预测突出关键类别的特征。之后使用xin与缩放因子系数δ(·)之间的通道乘法。上述过程表示为:
25、
26、conv(·)表示1×1卷积;δ(·)为sigmoid函数;为通道乘法。
27、对xin和z进行通道相加,过程为:
28、
29、其中⊕是通道加法。
30、本发明的另一目的在于一种改进segformer的视杯视盘同步分割系统,包括:
31、特征输出模块,用于使用编码器提取眼底图像中视杯视盘的特征,输出高分辨率浅层特征和低分辨率精细特征;
32、边缘特征学习模块,evc模块通过低分辨率精细特征学习视杯视盘的边缘特征;
33、图像分割模块,使用解码器融合和细化特征图,完成分割任务。
34、本发明的另一目的在于提供一种计算机设备,计算机设备包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行所述的改进segformer的视杯视盘同步分割方法的步骤。
35、本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行所述的改进segformer的视杯视盘同步分割方法的步骤。
36、本发明的另一目的在于提供一种信息数据处理终端,信息数据处理终端包括所述的改进segformer的视杯视盘同步分割系统。
37、结合上述的技术方案和解决的技术问题,本发明所要保护的技术方案所具备的优点及积极效果为:
38、第一、本发明的有益效果:
39、(1)在分割精度方面:通过加入evc模块,使segformer对视杯视盘的同步分割更为精准。
40、表1~3分别给出了在drishti-gs1,origa和refuge2这三个数据集上segformer模型和改进的evc-segformer模型的视杯视盘分割评价指标对比。
41、从表1~3可以看出,本法相所提出的evc-segformer模型表现出了最佳的分割结果,提高了cup iou、disc iou、miou、cup dice、disc dice、mpa、acc的值,在drishti-gs1数据集上其结果分别为81.61%(2.01↑)、89.83%(1.29↑)、90.21%(1.11↑)、89.12%(1.48↑)、94.29%(0.8↑)、94.83%(0.73↑)和98.52%(0.16↑)。在origa数据集上其结果分别为81.61%(1.06↑)、79.30%(0.25↑)、86.59%(0.44↑)、89.41%(0.59↑)、88.13%(0.28↑)、92.93%(1.11↑)和97.81%(0.04↑)。在refuge2数据集上其结果分别为85.21%(1.05↑)、80.66%(0.88↑)、88.37%(0.67↑)、91.44%(0.53↑)、88.19%(0.74↑)、93.48%(0.36↑)和98.81%(0.09↑)。
42、表1.evc-segformer和segformer模型在drishti-gs1数据集中视杯视盘分割评价指标对比
43、
44、表2.evc-segformer和segformer模型在origa数据集中视杯视盘分割评价指标对比
45、
46、表3.evc-segformer和segformer模型在refuge2数据集中视杯视盘分割评价指标对比
47、
48、(2)在泛化性方面,以dice系数(dice coefficient)、平均像素准确度(mpa)、交并比(iou)、平均交并比(miou)、和准确率(accuracy)作为评价指标,以origa和drishti-gs数据集为实验数据,对本发明提出的模型与其它模型进行了分析对比。结果表明,本发明在上述指标上均取得了最佳结果。
49、本发明提出的改进segformer的视杯视盘同步分割模型,在segformer的编码器和解码器之间加入evc(explicit visual center)模块。模型将图像中的视杯视盘作为一个整体进行同步分割。evc模块区分视杯视盘区域细节特征,提升模型对全局特征和视杯视盘边缘局部特征的获取能力。
50、evc中的轻量级多层感知机(multilayer perceptron,mlp)可捕捉图像中的全局长程依赖,能够帮助模型理解图像中视杯、视盘、背景相隔较远部分之间的关系。同时,传统的视杯视盘分割模型亦忽视视杯视盘边缘区域的重要性,改进segformer的视杯视盘同步分割模型,加入evc模块,其可学习视觉中心关注并聚合视杯视盘边缘区域的特征,提高模型获取视杯以及视杯视盘边缘特征能力。
51、第二,本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题:evc-segformer分割模型在保持了相对较好的推理速度的同时,可以实现高精度的视杯视盘同步分割,明显优于现有的语义分割模型,对辅助临床医生实现青光眼诊断有重要价值。
52、第三,本发明涉及改进segformer的视杯视盘同步分割方法,相较于现有技术,其解决了若干技术问题并取得了显著的技术进步。
53、1.分割精度不足:
54、现有技术中的视杯视盘分割方法在处理眼底图像时,存在分割边界不清晰、细节丢失的问题。这是因为传统方法无法有效捕捉视杯和视盘区域的细微特征,尤其是在边缘部分。
55、2.特征融合不足:
56、在现有技术中,特征图的融合往往缺乏对不同尺度特征的充分利用,导致在高分辨率和低分辨率特征之间的融合效果不佳,从而影响分割结果的精确性。
57、3.边缘信息不足:
58、传统的分割算法未充分考虑视杯视盘的边缘特征,这会导致在视杯和视盘的分割边缘处出现模糊或不连续的情况,从而影响诊断的准确性。
59、显著技术进步:
60、1.边缘特征增强:
61、本发明采用evc(edge-vision-context)模块,通过对低分辨率精细特征进行边缘特征学习,显著提升了视杯视盘的边缘信息捕捉能力。这一改进使得分割结果在边缘处更加清晰、准确,解决了现有技术中边缘模糊的问题。
62、2.高效的特征融合:
63、通过改进的segformer解码器,结合高分辨率浅层特征和低分辨率精细特征,优化了特征融合过程。解码器结构中的上采样和多层感知机有效地整合了多尺度信息,提高了视杯视盘分割的精度和细节表现。
64、3.提高分割精度和细节表现:
65、本发明在特征提取和特征融合的过程中,采用了先进的边缘检测技术和上下文感知模块,使得视杯视盘的同步分割结果更为精准。这一技术进步提升了医学影像分析的准确性,具有更好的临床应用价值。
66、综上所述,本发明通过改进特征提取和边缘特征学习技术,解决了现有技术中的分割精度不足和边缘信息不足的问题,并在视杯视盘同步分割任务中取得了显著的技术进步。
1.一种改进segformer的视杯视盘同步分割方法,其特征在于,包括:
2.如权利要求1所述的改进segformer的视杯视盘同步分割方法,其特征在于,利用segformer的视杯视盘同步分割:
3.如权利要求1所述的改进segformer的视杯视盘同步分割方法,其特征在于,加入evc模块,提高模型获取视杯以及视杯视盘边缘特征的能力:
4.如权利要求1所述的改进segformer的视杯视盘同步分割方法,其特征在于,轻量级mlp有助于模型理解视杯视盘和背景间的复杂关联,从而在不显著增加计算负担的前提下增强对视杯视盘结构形态的理解,提高模型理解图像中视杯视盘背景相隔较远部分之间的关系,提高模型全局信息的获取能力;轻量级mlp主要由两个残差模块组成:基于dw卷积的模块和基于通道mlp的模块;两个模块后都会进行通道缩放操作和droppath操作,以提高泛化性和鲁棒性;
5.如权利要求1所述的改进segformer的视杯视盘同步分割方法,其特征在于,lvc与轻量级mlp并行工作,使模型能够更好地理解并区分背景和视杯、视盘的边缘细节特征,提高模型局部细节特征的获取能力;
6.一种实现如权利要求1~5任意一项所述改进segformer的视杯视盘同步分割方法的改进segformer的视杯视盘同步分割系统,其特征在于,包括:
7.一种计算机设备,计算机设备包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如权利要求1~5任意一项所述的改进segformer的视杯视盘同步分割方法的步骤。
8.一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行如权利要求1~5任意一项所述的改进segformer的视杯视盘同步分割方法的步骤。
9.一种信息数据处理终端,信息数据处理终端包括如权利要求6所述的改进segformer的视杯视盘同步分割系统。