本发明属于光学三维测量,具体涉及一种基于深度学习的单帧数字条纹端到端相位解析方法。
背景技术:
1、目前,三维测量技术在各个领域起着重要作用,其被广泛应用于航空制造、智慧医疗、智能识别、人工智能等领域。条纹投影三维成像因其非接触、高精度、全场测量、点云重建效率高等优点,已成为目前三维测量技术中的主流光学方法。然而传统的条纹投影三维成像通过投影多组光栅条纹并结合相移法/时间相位展开方法以获取绝对相位信息,其中需要经过条纹图像采集、相位解调、相位解析的过程,这不可避免地延长了数据获取的时间,对三维信息获取的效率有很大影响。而空域法仅需一帧条纹及其对应的主值相位便可恢复出绝对相位,早期提取主值相位的算法有傅里叶变换法(ft)、加窗傅里叶变换法(wft)等;获取绝对相位的方法主要包含:枝切法、质量图导向法、无权重fft法等。尽管基于空域法的相位解析方法已经有许多成熟方法,但因其相位解析需要受到相邻像素的影响而导致误差逐步传递,在面对复杂结构、不连续或孤立表面特性的目标时,容易造成较大的相位解析误差,绝对相位中往往伴有“拉丝”和“丢包”的严重现象,重建精度仍然远不如多次条纹投影求解方法。
2、因此,如何利用单帧条纹图像以及更快捷的方法,快速、准确、无歧义地获取目标的绝对相位是当前条纹投影三维成像领域的一个亟待解决的问题。
3、近年来,随着人工智能技术的发展,基于深度学习技术的相位解析方法取得了重大的突破。在相位解调方面,一种基于深度学习的单帧条纹分析法利用两个卷积神经网络(cnn1和cnn2)从采集的原始条纹图像中学习生成解调相位所需的正弦部分(m)和余弦部分(d),进而将该正余弦结果代入反正切函数计算得到包裹相位,在此基础之上,多路径的cnn+resnet网络相继被用于预测包裹相位的m/d,与传统的ft和wft比较,此类方法仅采用一幅条纹图像能够更为准确地提取相位信息,特别是针对具有丰富细节的物体表面。在相位展开方面,主要有预测条纹级数的间接展开法和预测绝对相位的直接展开法。前者从一帧或多帧包裹相位中学习,先推理或分割出绝对相位所需的条纹级数图像,再结合包裹相位恢复出绝对相位信息;后者是从一帧包裹相位中学习,直接生成绝对相位信息。
4、目前,在相位解析中,大多数深度学习方法只关注相位解析的某一阶段相位解调或相位展开,或者则将二者用多阶段的网络进行融合,这样的测量过程相对复杂,效率低,同时存在误差前向传递的问题。
技术实现思路
1、本发明的目的在于解决现有技术利用单帧条纹图像以及相位解析的方法获取绝对相位的测量过程复杂、效率低以及存在误差前向传递的问题,而提供了一种基于深度学习的单帧数字条纹端到端相位解析方法。
2、为实现上述目的,本发明所提供的技术解决方案是:
3、一种基于深度学习的单帧数字条纹端到端相位解析方法,包括以下步骤:
4、步骤1:搭建基于数字孪生的条纹投影系统,使用相移法采集变形条纹图像,利用双频解相算法计算变形条纹图像的绝对相位,并构建变形条纹-绝对相位数据集;
5、步骤2:构造incepc-unet网络模型,包括编码网络、解码网络以及跳跃连接;
6、步骤3:将步骤1的变形条纹-绝对相位数据集按一定比例分为训练集和测试集,基于训练集训练incepc-unet网络模型,基于测试集测试训练后的incepc-unet网络模型,基于训练以及测试结果,优化调整incepc-unet网络模型的相关参数设置;
7、步骤4:利用步骤3设计的incepc-unet网络模型对被测物体的单帧变形条纹图像进行绝对相位预测。
8、进一步的,步骤1中,条纹投影系统包括相机、投影仪以及待测物体,其中,相机与投影仪水平放置,待测物体与投影仪垂直。
9、进一步的,步骤1中,构建变形条纹-绝对相位数据集的步骤包括:
10、步骤1.1:使用高频和低频的正弦条纹分别渲染待测物体,随后使用相机采集变形条纹图像并保存,其中,高频变形条纹图像的第一帧为单帧变形条纹图像;
11、步骤1.2:对步骤1.1保存的除单帧变形条纹图像外的高频变形条纹图像,采用双频相位解析算法计算出其绝对相位并保存;
12、步骤1.3:更换待测物体,重复步骤1.1~1.2的操作,若干单帧变形条纹图像和绝对相位最终组成变形条纹-绝对相位数据集。
13、进一步的,步骤2中,编码网络由五个编码层组成,前四个编码层均由一个inception残差块、一个坐标注意力块以及一个2×2最大池化组成,第五个编码层由inception残差块组成;
14、解码网络由四个解码层组成,每个解码层由一个转置卷积、一个拼接块以及一个inception残差块组成;
15、跳跃连接,用于将编码层与解码层进行特征融合。
16、进一步的,inception残差块由分支0、分支1、分支2、分支3以及分支4组成并行层结构;分支0由填充为0的卷积块以及批量归一化层组成,分支1~4均由填充为1的卷积块以及批量归一化层组成,且分支1~4的四个c/4通道输出连接为一个c通道输出,指定维度为1,并将c通道输出添加到分支0输出。
17、进一步的,编码网络中的inception残差块通过多分支通路增强incepc-unet网络模型的多尺度特征提取能力;坐标注意力块用于提取条纹图像在局部特征图中不同位置的空间依赖,且坐标注意力块采用分别对x方向和y方向的一维池化来代替全局二维池化,使incepc-unet网络模型更精确的学习图像的空间分布特征,提升incepc-unet网络模型对图像在有效目标区域的关注度;2×2最大池化能够将提取的特征图的宽度和高度减半,减少计算量,提高incepc-unet网络模型的训练速度。
18、进一步的,步骤3中,incepc-unet网络模型的训练步骤包括:
19、步骤3.1:对步骤1所生成的变形条纹-绝对相位数据集进行归一化处理,对incepc-unet网络模型的输入和输出进行尺寸缩放处理,incepc-unet网络模型的输入为单帧变形条纹图像;
20、步骤3.2:设置incepc-unet网络模型训练的相关参数;
21、步骤3.3:将预测相位、真实相位输入incepc-unet网络模型的损失函数中,根据损失函数的结果,对incepc-unet网络模型进行训练,直到损失函数的结果收敛。
22、进一步的,步骤3中,将变形条纹-绝对相位数据集随机分为9:1比例的训练集和测试集,其中,训练集在测试集中不可见。
23、进一步的,步骤4中,利用incepc-unet网络模型对单帧变形条纹图像进行绝对相位预测的步骤包括:
24、步骤4.1:将被测物体的单帧变形条纹图像输入到incepc-unet网络模型中;
25、步骤4.2:输入的单帧变形条纹图像首先经过编码网络的编码层进行局部特征提取得到特征图,再由解码网络的解码层进行逐层转置卷积得到中间特征图,将中间特征图与编码网络中相同尺寸的特征图进行拼接,得到拼接特征图;
26、步骤4.3:将步骤4.2得到的拼接特征图输入到解码网络的inception残差块中,通过分支0得到通道数为1的特征图,即为被测物体的变形条纹图像对应的绝对相位。
27、本发明的优点是:
28、本发明设计的单帧数字条纹端到端相位解析方法,完全摒弃了绝对相位展开的传统级联型解析流程,实现了单帧数字条纹端到端的绝对相位计算,提高了相位解析的效率以及精度,推动三维测量向智能化方向发展。
1.一种基于深度学习的单帧数字条纹端到端相位解析方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的单帧数字条纹端到端相位解析方法,其特征在于,步骤1中,条纹投影系统包括相机、投影仪以及待测物体,其中,相机与投影仪水平放置,待测物体与投影仪垂直。
3.根据权利要求2所述的单帧数字条纹端到端相位解析方法,其特征在于,步骤1中,构建变形条纹-绝对相位数据集的步骤包括:
4.根据权利要求1所述的单帧数字条纹端到端相位解析方法,其特征在于,步骤2中,编码网络由五个编码层组成,前四个编码层均由一个inception残差块、一个坐标注意力块以及一个2×2最大池化组成,第五个编码层由inception残差块组成;
5.根据权利要求4所述的单帧数字条纹端到端相位解析方法,其特征在于,inception残差块由分支0、分支1、分支2、分支3以及分支4组成并行层结构;分支0由填充为0的卷积块以及批量归一化层组成,分支1~4均由填充为1的卷积块以及批量归一化层组成,且分支1~4的四个c/4通道输出连接为一个c通道输出,指定维度为1,并将c通道输出添加到分支0输出。
6.根据权利要求4所述的单帧数字条纹端到端相位解析方法,其特征在于,编码网络中的inception残差块通过多分支通路增强incepc-unet网络模型的多尺度特征提取能力;坐标注意力块用于提取条纹图像在局部特征图中不同位置的空间依赖,且坐标注意力块采用分别对x方向和y方向的一维池化来代替全局二维池化,使incepc-unet网络模型更精确的学习图像的空间分布特征,提升incepc-unet网络模型对图像在有效目标区域的关注度;2×2最大池化能够将提取的特征图的宽度和高度减半,减少计算量,提高incepc-unet网络模型的训练速度。
7.根据权利要求3所述的单帧数字条纹端到端相位解析方法,其特征在于,步骤3中,incepc-unet网络模型的训练步骤包括:
8.根据权利要求3所述的单帧数字条纹端到端相位解析方法,其特征在于,步骤3中,将变形条纹-绝对相位数据集随机分为9:1比例的训练集和测试集,其中,训练集在测试集中不可见。
9.根据权利要求5所述的单帧数字条纹端到端相位解析方法,其特征在于,步骤4中,利用incepc-unet网络模型对单帧变形条纹图像进行绝对相位预测的步骤包括: