本发明属于图像处理，具体涉及一种基于segmamba的超轻量化光伏组件图像分割方法。
背景技术：
1、传统的光伏组件图像分割方法大都是基于人工手动标注分割和一些传统的深度学习方法，人工手动方法通过利用光伏阵列的四边形特征进行光伏阵列分割，但分割精度有限且耗时较长；近年来，基于自注意机制的transformer 模型被应用于计算机视觉领域，其通过自我关注机制实现了全局信息的交互，可以揭示输入数据的不同位置和尺度之间的依赖关系，在irt图像分割方面比传统手工方法传统的模型（如fcn、unet、segformer等）具有一定的优势，但仍存在计算复杂度高，效率低下；
2、依赖特定特征且鲁棒性不足：传统基于四边形特征的分割方法高度依赖特定几何特征，面对多变环境需频繁调参，限制了分割精度与鲁棒性。
3、计算成本高：自注意机制transformer模型（如segformer）虽能捕获全局信息和不同尺度间的依赖关系，但处理高分辨率图像时计算复杂度高，不适用于实时性要求高的场景。
4、模型泛化能力不足：现有的深度学习方法虽表现出色，但受训练数据多样性与质量影响大，面对新场景时泛化能力不足，影响分割准确性。
5、细节与边缘处理不精细：尽管segformer等模型能够捕获全局信息和不同尺度间的依赖关系，但在处理图像的细节和边缘时可能不够精细，尤其是在光伏阵列的边界、阴影交界处等关键区域，可能出现分割不连续或边缘模糊的问题；为此本发明提出一种基于segmamba的超轻量化光伏组件图像分割方法。
技术实现思路
1、本发明的目的在于提供一种基于segmamba的超轻量化光伏组件图像分割方法，以解决上述背景技术中提出的问题。
2、为实现上述目的，本发明提供如下技术方案：一种基于segmamba的超轻量化光伏组件图像分割方法，具体步骤包括：s1：数据预处理与优化：s11：利用搭载双光谱相机的无人机进行低空高分辨率拍摄，同时捕获光伏阵列的红外和可见光图像；经过多次拍摄，共获得了红外与可见光图像各若干张，每张图像均具备 640×512像素的分辨率；使用红外热成像进行分析；经过筛选，最终保留高质量的红外热成像图；
3、s12：采用labelme标注工具对红外图像进行手动标注获取准确的图像标签信息，将图像分为背景background和光伏阵列pv两个类别，并采用pascal voc格式进行标注；
4、s13：为消除图像中的噪声，采用两步滤波策略，首先应用双边滤波技术降低图像中的边缘模糊和细节损失，随后采用高斯滤波进一步平滑图像，去除剩余的随机噪声；
5、s2：特征提取：本发明针对分割模型计算与参数量大导致的应用开销问题，提出一种超轻量化编码器，在该编码器中首先输入的图像通过 patchembed2d提取图像特征，然后通过由两个pmm layer块串行组成的block改变图像的通道数后进行一次归一化操作生成第一阶段特征图，以此类推，将第上一阶段生成的特征图经过上述操作生成下一阶段的特征图，最后生成了四个不同分辨率的图像；
6、s3：特征融合：采用多尺度交叉特征融合的解码器，从多个尺度层面通过横向交叉连接的方式高效地恢复图像的分辨率；首先，将编码器在四个不同阶段产生的不同分辨率的特征和后处理后的特作为输入；采用递归且跨层级的策略，通过多次迭代的上采样与跳跃连接机制，高层级的丰富语义信息被直接传递至更低层级，与后续阶段的特征进行深度且细致的融合并转换为最终的分割掩码；通过分类和分割模块cls_seg生成高分辨率的分割图；
7、s4：图像后处理：通过形态学处理来消除微小噪声并填补目标区域缺陷；通过边缘平滑技术以平滑分割边界，减少锯齿现象，通过区域优化策略合并邻近或细分过大区域来精确描绘物体轮廓；以及通过阈值的微调进一步提高分割的准确率。
8、优选的，所述在每个 pmm layer块中，通道数为c的特征x首先经过归一化处理分成，然后被分成四个特征，每个特征的通道数为c/4；之后每个特征同时并行输入由两个串行的 mamba 模块组成的 pm block进行卷积操作；在每个通道里，将输入的1/4原始特征经过 sigmoid函数后与输出的特征进行相加，在确保通道总数不变且保持高精度的同时最大限度地减少参数量使得模型变得轻量化
9、优选的，所述步骤s2的过程公式表达为：
10、
11、 i=1,2,3,4
12、 i = 1,2,3,4
13、 i=1,2,3,4
14、
15、
16、其中，为通道数为c的输入特征；为被均分后输出的四个通道数为c/4特征；代表通过sigmoid激活函数后的结果；为通过pmm layer模块后输出的结果特征；为将和相加后的结果；是最终将四个并行输出结果连接后的结果，其通道数为c；为最终映射后的特征；ln为 layernorm表示层归一化函数；sp为 split 操作用于均分输入特征; sigmoid为激活函数；pm为pmmlayer操作，cat为 concat操作用于融合四个独立通道输出的提取特征，生成通道数为c的特征；pro为线性投影操作linear projection，有助于整合来自不同子通道和mamba模块的信息，确保特征的一致性和整体性。
17、优选的，所述编码器由 patchembed2d、pmm layer块和groupnorm归一化块依次交替串行构成。
18、优选的，所述步骤s4还可通过自适应阈值处理otsu方法有效区分图像的前景与背景，生成清晰的二值图像。
19、与现有技术相比，本发明的有益效果是：图像分割精度显著提高：
20、通过引入parallel multi-mamba layer（pmm layer），在特征提取阶段实现特征的多样性与深度挖掘。这一并行互补机制精准捕捉光伏组件图像的细微特征与关键差异，极大提升了分割精度，为光伏组件缺陷检测、裂纹识别等应用提供了坚实保障。
21、高效处理与实时性能：
22、在追求高精度的同时，通过超轻量化设计大幅度削减模型参数量，实现了高效处理与实时性能。在本发明所用数据集上其参数量低至0.85m，与传统的分割方法相比（如segformer）降低了78%左右，这一特性使得该发明能够在计算资源有限的环境下高效运行，缩短处理时间，提升处理速度。这对于需要实时反馈的光伏监控系统来说尤为重要，能够确保及时发现并响应潜在问题，提高整体运维效率。
23、部署成本明显降低：
24、模型的轻量化设计不仅减少了计算资源需求，还显著降低了硬件部署成本。光伏电站及分布式光伏系统可根据实际需求灵活选择硬件设备，无需依赖高成本的高性能计算设备，从而降低了整体投资门槛，增强了系统的可部署性与灵活性。
25、鲁棒性与泛化能力强：
26、对于光伏阵列红外图像中的噪声和异常数据，mamba 的结构可能比卷积和transformer 具有更好的抗噪能力；由于 mamba 的状态空间模型包含记忆能力，能够更平滑地处理连续输入数据，因此在图像中存在的异常点或光照变化时，能提供更加稳健的预测，更好地适应复杂多变的实际应用场景。
1.一种基于segmamba的超轻量化光伏组件图像分割方法，其特征在于：具体步骤包括：s1：数据预处理与优化：s11：利用搭载双光谱相机的无人机进行低空高分辨率拍摄，同时捕获光伏阵列的红外和可见光图像；经过多次拍摄，共获得了红外与可见光图像各若干张，每张图像均具备 640×512像素的分辨率；使用红外热成像进行分析；经过筛选，最终保留高质量的红外热成像图；
2.根据权利要求1所述的一种基于segmamba的超轻量化光伏组件图像分割方法，其特征在于：所述在每个 pmm layer块中，通道数为c的特征x首先经过归一化处理，然后被分成四个特征，每个特征的通道数为c/4；之后每个特征同时并行输入由两个串行的 mamba 模块组成的 pmm block进行卷积操作；在每个通道里，将输入的1/4原始特征经过 sigmoid函数后与输出的特征进行相加，最终将这四个特征进行相加，这一并行卷积策略能同时在不同尺度上提取图像的空间维度特征，实现对局部细节与全局上下文信息的全面且精确的捕获，确保了特征提取的多样性与深度，且在确保通道总数不变且保持高精度的同时最大限度地减少参数量使得模型变得轻量化。
3.根据权利要求2所述的一种基于segmamba的超轻量化光伏组件图像分割方法，其特征在于：所述步骤s2的过程公式表达为：
4.根据权利要求1所述的一种基于segmamba的超轻量化光伏组件图像分割方法，其特征在于：所述编码器由 patchembed2d、pmm layer块和groupnorm归一化块依次交替串行构成。
5.根据权利要求1所述的一种基于segmamba的超轻量化光伏组件图像分割方法，其特征在于：所述步骤s4还可通过自适应阈值处理otsu方法有效区分图像的前景与背景，生成清晰的二值图像。
