本发明涉及图像处理，尤其涉及一种去除图像反光模型的训练方法及装置。
背景技术：
1、在现实世界的照片中，经常会出现玻璃的不良反射现象。这不仅会显著降低图像的质量，还会影响下游的计算机视觉任务，如物体检测和语义分割。由于反射去除问题具有不适定性，早期的研究主要采用多通道方法来处理输入图像。近年来，研究人员开始尝试解决更为常见且具有实际意义的场景中的单个输入图像的反射去除问题。
2、单张图像的反光去除存在一些挑战，在某些情况下，反光的外观可能包含一些线索。例如，在对焦于背景时，反光可能会失焦，因此看起来模糊。当玻璃较厚时，可能产生鬼影效果。然而，这些线索在很多情况下并不成立。实际世界中的反光很可能是清晰且没有鬼影的。
3、现有的去除图像反光技术大多利用反光和背景的不同运动状态进行去反光，但在玻璃窗户或镜面表面上的反光涉及多个物体和不同光照条件时，会使得算法难以准确地区分和处理，导致图像进行反光去除后图像的质量降低。
技术实现思路
1、本发明提供了一种去除图像反光模型的训练方法及装置，用于解决现有的去除图像反光技术导致图像进行反光去除后图像的质量降低的技术问题。
2、本发明第一方面提供的一种去除图像反光模型的训练方法，包括：
3、获取待去反光训练原图，并对所述待去反光训练原图进行预处理，输出待训练初始去反光特征图和待训练初始反光特征图；
4、将所述待训练初始去反光特征图和所述待训练初始反光特征图一并输入至初始去除图像反光模型，所述初始去除图像反光模型包括初始传输预测网络和初始反射预测网络；
5、通过所述初始传输预测网络对所述待训练初始去反光特征图进行传输预测，输出当前时刻待训练目标去反光特征图和传输解码特征图；
6、采用所述初始反射预测网络对所述待训练初始反光特征图进行反射预测，生成当前时刻待训练目标反光特征图；
7、根据所述当前时刻待训练目标去反光特征图、所述待去反光训练原图、所述当前时刻待训练目标反光特征图和所述传输解码特征图对所述初始去除图像反光模型进行模型训练，确定目标去除图像反光模型。
8、可选地，所述对所述待去反光训练原图进行预处理，输出待训练初始去反光特征图和待训练初始反光特征图的步骤，包括：
9、对所述待去反光训练原图进行分离，确定待训练去反光图像和待训练反光图像；
10、对所述待训练去反光图像和所述待去反光训练原图进行拼接，生成待训练初始去反光特征图；
11、对所述待训练反光图像和所述待去反光训练原图进行拼接，输出待训练初始反光特征图。
12、可选地，所述初始传输预测网络包括依次连接的十一个串联的传输卷积编码模块、第一自注意力机制层和八个串联的传输卷积解码模块，所述十一个串联的传输卷积编码模块中的第一个传输卷积编码模块与所述八个串联的传输卷积解码模块中的第五个传输卷积解码模块残差连接，所述十一个串联的传输卷积编码模块中的第三个传输卷积编码模块与所述八个串联的传输卷积解码模块中的第二个传输卷积解码模块残差连接；所述通过所述初始传输预测网络对所述待训练初始去反光特征图进行传输预测，输出当前时刻待训练目标去反光特征图和传输解码特征图的步骤，包括：
13、通过所述十一个串联的传输卷积编码模块对所述待训练初始去反光特征图进行卷积运算和非线性映射，输出第一个传输编码特征图、第三个传输编码特征图和第十一个传输编码特征图；
14、将所述第十一个传输编码特征图和历史时刻待训练目标去反光特征图一并输入至所述第一自注意力机制层进行计算，输出第一注意力特征图；
15、采用所述八个串联的传输卷积解码模块根据所述第一注意力特征图、所述第一个传输编码特征图和所述第三个传输编码特征图，输出当前时刻待训练目标去反光特征图和传输解码特征图。
16、可选地，所述初始反射预测网络包括依次连接的十一个串联的反射卷积编码模块、第二自注意力机制层和八个串联的反射卷积解码模块，所述十一个串联的反射卷积编码模块中的第一个反射卷积编码模块与所述八个串联的反射卷积解码模块中的第五个反射卷积解码模块残差连接，所述十一个串联的反射卷积编码模块中的第三个反射卷积编码模块与所述八个串联的反射卷积解码模块中的第二个反射卷积解码模块残差连接；所述采用所述初始反射预测网络对所述待训练初始反光特征图进行反射预测，生成当前时刻待训练目标反光特征图的步骤包括：
17、通过所述十一个串联的反射卷积编码模块对所述待训练初始反光特征图进行卷积运算和非线性映射，输出第一个反射编码特征图、第三个反射编码特征图和第十一个反射编码特征图；
18、将所述第十一个反射编码特征图和历史时刻待训练目标反光特征图一并输入至所述第二自注意力机制层进行计算，输出第二注意力特征图；
19、采用所述八个串联的反射卷积解码模块根据所述第二注意力特征图、所述第一个反射编码特征图和所述第三个反射编码特征图，输出当前时刻待训练目标反光特征图。
20、可选地，所述根据所述当前时刻待训练目标去反光特征图、所述待去反光训练原图、所述当前时刻待训练目标反光特征图和所述传输解码特征图对所述初始去除图像反光模型进行模型训练，确定目标去除图像反光模型的步骤，包括：
21、基于预置尺度参数，对所述当前时刻待训练目标去反光特征图和所述当前时刻待训练目标反光特征图进行叠加，确定当前时刻待训练去反光预测图；
22、采用预置第一损失函数根据所述当前时刻待训练去反光预测图和历史时刻待训练去反光预测图，计算第一损失值；
23、采用预置第二损失函数根据所述传输解码特征图和所述当前时刻待训练目标去反光特征图，计算第二损失值；
24、将所述当前时刻待训练目标去反光特征图和所述当前时刻待训练目标反光特征图输入至预置可学习残差模块进行残差卷积，输出残差卷积特征图；
25、采用预置第三损失函数根据所述残差卷积特征图、所述当前时刻待训练目标去反光特征图和所述当前时刻待训练目标反光特征图，计算第三损失值；
26、将所述待去反光训练原图和所述当前时刻待训练目标去反光特征图输入至预置反转线性合成模型，输出残余反射；
27、采用预置第四损失函数根据所述残余反射、所述当前时刻待训练目标去反光特征图、所述当前时刻待训练目标反光特征图、历史时刻待训练目标去反光特征图和历史时刻待训练目标反光特征图，计算第四损失值；
28、采用预置第五损失函数根据所述待训练目标去反光特征图，计算第五损失值；
29、采用所述第一损失值、所述第二损失值、所述第三损失值、所述第四损失值和所述第五损失值对所述初始去除图像反光模型的模型参数进行更新，确定中间去除图像反光模型，并实时统计模型更新次数；
30、判断所述模型更新次数是否达到预置更新阈值；
31、若所述模型更新次数达到所述预置更新阈值，则将所述中间去除图像反光模型作为所述目标去除图像反光模型。
32、可选地，所述传输解码特征图包括第四个传输解码特征图和第六个传输解码特征图；所述采用预置第二损失函数根据所述传输解码特征图和所述当前时刻待训练目标去反光特征图，计算第二损失值的步骤，包括：
33、分别对所述第四个传输解码特征图和所述第六个传输解码特征图进行卷积运算，输出第四个卷积特征图和第六个卷积特征图；
34、将所述第四个卷积特征图、所述第六个卷积特征图和所述当前时刻待训练目标去反光特征图输入至预置卷积神经网络进行特征提取，输出第四个强化特征图、第六个强化特征图和第八个强化特征图；
35、采用所述预置第二损失函数根据所述第四个强化特征图、所述第六个强化特征图和所述第八个强化特征图，计算第二损失值。
36、可选地，所述预置可学习残差模块包括三个串联的开发互门互动机制模块、拼接层、三个串联的神经衰减场模块、卷积层和激活函数层；所述将所述当前时刻待训练目标去反光特征图和所述当前时刻待训练目标反光特征图输入至预置可学习残差模块进行残差卷积，输出残差卷积特征图的步骤，包括：
37、采用所述三个串联的开发互门互动机制模块对所述当前时刻待训练目标去反光特征图和所述当前时刻待训练目标反光特征图进行交叉卷积，输出第一交叉卷积特征向量和第二交叉卷积特征向量；
38、通过所述拼接层对所述第一交叉卷积特征向量和所述第二交叉卷积特征向量进行拼接，输出拼接特征向量；
39、通过所述三个串联的神经衰减场模块对所述拼接特征向量进行层归一化和卷积运算，输出第一卷积特征图；
40、将所述第一卷积特征图输入至所述卷积层进行卷积运算，输出第二卷积特征图；
41、采用所述激活函数层对所述第二卷积特征图进行非线性映射，生成残差卷积特征图。
42、可选地，还包括：
43、获取待去反光检测原图，并对所述待去反光检测原图进行预处理，输出待检测初始去反光特征图和待检测初始反光特征图；
44、将所述待检测初始去反光特征图和所述待检测初始反光特征图输入至多个串联的所述目标去除图像反光模型，输出目标去反光特征图和目标反光特征图。
45、本发明第二方面提供的一种去除图像反光模型的训练装置，包括：
46、获取模块，用于获取待去反光训练原图，并对所述待去反光训练原图进行预处理，输出待训练初始去反光特征图和待训练初始反光特征图；
47、输入模块，用于将所述待训练初始去反光特征图和所述待训练初始反光特征图一并输入至初始去除图像反光模型，所述初始去除图像反光模型包括初始传输预测网络和初始反射预测网络；
48、传输预测模块，用于通过所述初始传输预测网络对所述待训练初始去反光特征图进行传输预测，输出当前时刻待训练目标去反光特征图和传输解码特征图；
49、反射预测模块，用于采用所述初始反射预测网络对所述待训练初始反光特征图进行反射预测，生成当前时刻待训练目标反光特征图；
50、确定目标模型模块，用于根据所述当前时刻待训练目标去反光特征图、所述待去反光训练原图、所述当前时刻待训练目标反光特征图和所述传输解码特征图对所述初始去除图像反光模型进行模型训练，确定目标去除图像反光模型。
51、本发明第三方面提供的一种计算机设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一项所述的去除图像反光模型的训练方法的步骤。
52、从以上技术方案可以看出，本发明具有以下优点：
53、本发明的上述技术方案提供了一种去除图像反光模型的训练方法，首先获取待去反光训练原图，并对待去反光训练原图进行预处理，输出待训练初始去反光特征图和待训练初始反光特征图；接着，将待训练初始去反光特征图和待训练初始反光特征图一并输入至初始去除图像反光模型，初始去除图像反光模型包括初始传输预测网络和初始反射预测网络；通过初始传输预测网络对待训练初始去反光特征图进行传输预测，输出当前时刻待训练目标去反光特征图和传输解码特征图；采用初始反射预测网络对待训练初始反光特征图进行反射预测，生成当前时刻待训练目标反光特征图；最后，根据当前时刻待训练目标去反光特征图、待去反光训练原图、当前时刻待训练目标反光特征图和传输解码特征图对初始去除图像反光模型进行模型训练，确定目标去除图像反光模型；基于上述方案，通过初始传输预测网络、初始反射预测网络对待训练初始去反光特征图和待训练初始反光特征图进行传输预测、反射预测，并根据生成的当前时刻待训练目标去反光特征图和当前时刻待训练目标反光特征图进行训练，得到目标去除图像反光模型的过程，分别针对传输和反射逐渐细化的目标，使得目标去除图像反光模型能够得到卓越的性能，进一步地提高了图像进行反光去除后图像的质量。
1.一种去除图像反光模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的去除图像反光模型的训练方法，其特征在于，所述对所述待去反光训练原图进行预处理，输出待训练初始去反光特征图和待训练初始反光特征图的步骤，包括：
3.根据权利要求1所述的去除图像反光模型的训练方法，其特征在于，所述初始传输预测网络包括依次连接的十一个串联的传输卷积编码模块、第一自注意力机制层和八个串联的传输卷积解码模块，所述十一个串联的传输卷积编码模块中的第一个传输卷积编码模块与所述八个串联的传输卷积解码模块中的第五个传输卷积解码模块残差连接，所述十一个串联的传输卷积编码模块中的第三个传输卷积编码模块与所述八个串联的传输卷积解码模块中的第二个传输卷积解码模块残差连接；所述通过所述初始传输预测网络对所述待训练初始去反光特征图进行传输预测，输出当前时刻待训练目标去反光特征图和传输解码特征图的步骤，包括：
4.根据权利要求1所述的去除图像反光模型的训练方法，其特征在于，所述初始反射预测网络包括依次连接的十一个串联的反射卷积编码模块、第二自注意力机制层和八个串联的反射卷积解码模块，所述十一个串联的反射卷积编码模块中的第一个反射卷积编码模块与所述八个串联的反射卷积解码模块中的第五个反射卷积解码模块残差连接，所述十一个串联的反射卷积编码模块中的第三个反射卷积编码模块与所述八个串联的反射卷积解码模块中的第二个反射卷积解码模块残差连接；所述采用所述初始反射预测网络对所述待训练初始反光特征图进行反射预测，生成当前时刻待训练目标反光特征图的步骤包括：
5.根据权利要求1所述的去除图像反光模型的训练方法，其特征在于，所述根据所述当前时刻待训练目标去反光特征图、所述待去反光训练原图、所述当前时刻待训练目标反光特征图和所述传输解码特征图对所述初始去除图像反光模型进行模型训练，确定目标去除图像反光模型的步骤，包括：
6.根据权利要求5所述的去除图像反光模型的训练方法，其特征在于，所述传输解码特征图包括第四个传输解码特征图和第六个传输解码特征图；所述采用预置第二损失函数根据所述传输解码特征图和所述当前时刻待训练目标去反光特征图，计算第二损失值的步骤，包括：
7.根据权利要求5所述的去除图像反光模型的训练方法，其特征在于，所述预置可学习残差模块包括三个串联的开发互门互动机制模块、拼接层、三个串联的神经衰减场模块、卷积层和激活函数层；所述将所述当前时刻待训练目标去反光特征图和所述当前时刻待训练目标反光特征图输入至预置可学习残差模块进行残差卷积，输出残差卷积特征图的步骤，包括：
8.根据权利要求1所述的去除图像反光模型的训练方法，其特征在于，还包括：
9.一种去除图像反光模型的训练装置，其特征在于，包括：
10.一种计算机设备，其特征在于，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-6任一项所述的去除图像反光模型的训练方法的步骤。
