本发明属于空间目标位姿估计，具体涉及一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法及系统。
背景技术：
1、随着航天技术的迅速发展，空间任务的复杂度和多样性不断增加，对航天器进行精准操控的需求也日益增强。这些任务涉及空间飞行器的自主交会对接、太空垃圾的清除、空间设备的在轨维护等多个方面，它们都共同需要对空间目标的位姿(位置和姿态)进行精确估计。位姿估计的准确性直接影响到任务的执行效率和质量，因而成为航天任务成功的关键技术之一。在空间目标的位姿估计技术中，传统方法如微波雷达和gps技术适用于远距离目标的定位，而激光雷达和视觉导航技术则更适合近距离的观测。尽管激光雷达技术精度较高，但成本较大；而视觉导航技术虽然成本较低，但易受光照条件影响。在这种背景下，单目视觉测量技术因其传感器体积小、能耗低、结构简单及成本低廉等优点，成为了空间近距离目标位姿测量的首选技术。
2、近年来，深度学习技术的快速发展为空间目标的位姿估计带来了新的机遇。深度学习技术，尤其是卷积神经网络(cnns)、递归神经网络(rnns)和图神经网络(gnns)等，在图像识别、目标跟踪和场景理解等方面展现出了卓越的性能。这些技术能够从复杂的、高维度的数据中自动学习到有用的特征，极大地提高了位姿估计的准确性和效率。特别是，通过深度学习模型对大量空间场景的图像进行训练，模型能够学习到空间目标的复杂特征和位姿变化规律，从而实现对未知空间目标位姿的准确预测。此外，通过两阶段方法，结合空间目标模型预测特征与先验信息，进一步提高位姿估计精度。随着深度学习技术的引入，不仅解决了传统视觉导航技术在空间目标位姿估计中遇到的光照变化剧烈等问题，而且通过其强大的学习和泛化能力，为提高空间目标位姿估计的精度和效率提供了新的可能。随着深度学习技术的不断进步和优化，未来在空间目标位姿估计领域将展现出更大的潜力和价值
3、文献号为cn113034581a的现有技术公开了基于深度学习的空间目标相对位姿估计方法，其包括以下步骤：a、利用空间目标三维模型在不同位置及姿态下的二维投影构建标注样本集；b、将标注样本集进行训练集、验证集和测试集的划分，并构建位姿估计神经网络；c、将训练集和验证集输入至构建的位姿估计神经网络中进行训练，得到位姿估计模型；d、利用训练得到的位姿估计模型对测试集进行测试，得到测试集中每个样本的空间目标的位姿信息。该现有技术实现通过单幅图像的回归模型就能够同时估计出空间目标的位置和姿态信息，适用于空间复杂光照条件下的目标位姿估计。但是针对空间环境中目标的位姿估计精度仍需进一步提高。
技术实现思路
1、本发明要解决的技术问题是：
2、本发明为了应对空间目标在空间环境高动态的复杂光学条件和位姿快速解算需求、提高空间环境中目标的位姿估计精度，本发明提出一种基于深度学习(深度学习网络算法)的复杂环境下多尺度空间目标相对位姿估计方法及系统。
3、本发明的技术构思为：在使用渲染引擎软件(如unity、urealengine、opengl软件或其他具有该功能的现有软件，上述软件是为科研目的选择试用)建立样本集后，利用多层神经网络提取图像特征，对预定义三维点的像平面投影点位置进行回归，得到预测的三维点二维位置后采用基于随机一致性透视n点法求解目标运动，实现对空间目标六自由度位姿估计。
4、本发明为解决上述技术问题所采用的技术方案为：
5、一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法，所述方法的实现过程为：
6、步骤一、根据不同位置姿态下空间目标三维模型虚拟仿真，获取位姿样本集：
7、在渲染引擎软件(如unity、urealengine、opengl软件)中导入开源的空间目标三维模型，模拟空间目标的不同空间位置和姿态，采用设定内参k相机进行拍摄；
8、所述位姿样本集包含空间目标位姿变化数据，其中以姿态变换矩阵r和位置平移向量t形式存在；该样本集包含从多个角度和距离观察空间目标时的图像数据，覆盖广泛的光照条件和环境背景；
9、步骤二、构建目标关键点二维位置回归网络：
10、构建对空间目标关键点二维投影的回归网络，网络样本数据集图像(来自步骤一中数据集图像)输入到以darknet53为骨干网络构成的网络，然后将下采样的图像特征传递给fpn特征金字塔网络中，之后进行上采样处理，对关键点二维投影进行回归，最后经过特征融合得到预测的关键点二维位置；
11、步骤三、根据位姿样本集输入回归网络，得到目标训练模型：
12、构建针对空间目标关键点二维位置的回归网络之后，根据位姿样本集对该网络进行训练，以得到能够精准预测目标位姿的训练模型；此过程的训练设置关键在于确保模型能够从位姿样本集中学习到空间目标的各种可能姿态，进而实现对未知姿态的准确预测；
13、步骤四、利用随机一致性透视n点法求解位姿
14、在获得关键点二维投影后，结合关键点在目标本体坐标系下的坐标，首先选取控制点，将其他点表示为这些控制点的线性组合；
15、随后进行：利用随即一致性透视n点法求得目标本体坐标系和相机坐标系之间的相对位姿，再构建一个关于控制点在相机坐标系下位置的线性方程，使用奇异值分解(svd)找到最优解，得到了控制点在相机坐标系下的位置，通过比较控制点在世界坐标系和相机坐标系中的位置，计算出相机的旋转和平移矩阵(空间目标相对位姿态指的就是相对位置和姿态，其中表现在姿态旋转矩阵和平移矩阵)。
16、进一步地，在步骤一中，模拟空间环境中可能遇到的各种干扰，包括光照变化、阴影、反射和大气扰动，以增强模型的泛化能力和鲁棒性。
17、进一步地，在所述渲染引擎软件中设定相机参数和空间目标三维模型参数，通过相机对空间目标三维模型成像生成二维图像(位姿样本集)；其中相机参数包括相机距离拍摄空间目标的s、相机内参视场角范围θ以及空间目标图像的宽度和高度；空间目标三维模型参数包括空间目标三维模型位置(x,y,z)和空间目标三维模型三轴姿态角(α,θ,ψ)以及其旋转角速度
18、进一步地，步骤二的具体实现过程为：
19、(1)图像进入骨干网络进行下采样处理
20、首先将前述位姿样本集中的空间目标图像输入到骨干神经网络中进行下采样处理，骨干网络输出特征分成五个阶段，分别代表五个不同尺度大小的特征向量；骨干网络结构分为五个主要阶段，每个阶段都是通过一系列卷积层和最大池化层构成，用于提取和处理不同层级的图像特征；在第一阶段，网络通过一个7x7的卷积核(步长为2x2，通道数为64)和一个3x3最大池化层(步长为2x2)开始对输入图像进行初步的特征提取和下采样；接下来，第二阶段由一个卷积块(conv_block)和两个恒等块(identity_block)组成，其中所有块的通道数配置为64，64，256，进一步加深特征理解；第三阶段包括一个卷积块和四个恒等块，它们的通道数提升到128，128，512，以捕获更复杂的特征；在第四阶段，网络通过一个卷积块和八个恒等块(通道数为256，256，1024)进行更深层次的特征探索；最后，第五阶段由一个卷积块和两个恒等块构成，其通道数最大，达到512，512，2048，以完成对图像特征的深入分析和理解；
21、(2)特征向量在多尺度特征网络中的上采样处理
22、经过骨干网络的下采样处理后，得到的特征向量随即被送入fpn(特征金字塔网络)进行上采样处理；fpn利用自底向上和横向连接的结构，构建不同尺度的特征图，以便捕捉图像中从粗到细的信息；在此过程中，较低层次的高分辨率特征图经过上采样，与上一层次的特征图进行融合，逐步实现特征的精细化和尺度的统一化；
23、(3)随机化向量多尺度特征融合处理
24、在完成特征向量的上采样处理之后，接下来采用随机化的融合策略进行随机化向量的多尺度特征融合处理，以增强模型的泛化能力和鲁棒性；通过对不同尺度的特征图进行随机化处理，再综合处理过的特征图，捕捉到空间目标的多样性和变化性，以保证不同空间目标的适应能力，为后续的关键点位置预测提供了更加丰富和准确的特征信息；
25、(4)回归生成对关键点二维位置预测
26、对空间目标关键点二维位置的预测，利用经过多尺度特征融合处理的特征图进行回归；构建回归网络，通过训练学习到从特征图到关键点二维位置的映射关系；在网络的最后阶段，利用全连接层或者卷积层直接对每个关键点的二维位置进行回归预测；通过细致地调整网络参数和结构，实现对空间目标关键点位置的高精度预测。
27、进一步地，步骤三的详细训练设置为：
28、(1)损失函数选择：采用适合位姿回归任务的损失函数，均方误差(mse)或更适合具体任务的定制化损失函数以精确衡量预测位姿与真实位姿之间的差异；
29、(2)优化器选择：选择高效的优化器adam并调整适宜的学习率，确保训练过程的稳定性和收敛速度；同时，合理设置批量大小和训练轮次(epoch)，平衡训练时间与模型性能；
30、(2)早停法(early stopping)：监控验证集上的性能，当模型在一定轮次后性能不再提升时停止训练，以避免过拟合，停止训练后跳转到步骤四进行姿态求解；
31、进一步地，随机化向量多尺度特征融合处理的具体过程为：
32、空间目标所在区域的像素信息以一定的权重参与预测，sk是网络不同层级的特征图谱大小，根据目标数据集中的对象大小分布来选择，s为原始图像中目标二维包络框中较长边的尺寸，第k层权重nk满足
33、
34、其中
35、
36、通过利用特征金字塔网络中的所有层级信息，增强网络应对目标拍摄距离变化的鲁棒性，以提高对目标姿态估计的总体性能和精确度。
37、进一步地，步骤三具体为：
38、在构建好二维点回归网络后，将步骤一获得的位姿样本集输入进网络进行训练，对其进行训练，并选取损失函数最小的模型作为最终的训练，训练前需要设计好网络的损失函数，对于三维点pi，根据其投影过程：
39、
40、令
41、
42、
43、其中投影点真实二维位置为通过真实点的极线方向，k为相机内参矩阵，通过相机射线对应的三维关键点pi在相机坐标系中表示，其中r为真实(ground-truth)旋转矩阵，t为平移向量；通过计算将重投影误差映射到3d空间中得到：
44、
45、其中
46、
47、是与相机射线正交投影的3d点的矩阵，最后，取损失为：
48、
49、进一步地，骤四的具体过程为：
50、在在使用二维点回归网络获得八个关键点二维投影坐标后，利用随即一致性透视n点法求解位姿，随即一致性透视n点法由随即一致性方法和透视n点法组成，随机一致性方法包含三个假设，数据由“内点”组成并且这些“内点”数据可以用数学模型参数解释、数据由“外点”组成，该方法过程为：
51、(1)确定数学模型计算所需要的最小样本集n并从所有样本数据p中随机抽取m个最小样本集，用这m个最小样本集分别计算数学模型的参数；
52、(2)利用剩余数据计算与这些模型的误差，当误差小于给定阈值时认定该数据为当前数学模型的“内点”；
53、(3)统计m个数学模型下的“内点”数目，其中“内点”数目最多的为正确数学模型，然后利用该模型下的所有“内点”数据利用最小二乘方法得到准确的数学模型；
54、(4)若在一定的抽样次数下仍未找到相应的“内点”集则认为算法失败，否则以第三步得到的结果为最终结果；
55、在步骤(2)中回归的八个角点中选取四个作为控制点，这些点在目标本体坐标系下的坐标已知，且已经求得了这些点在图像中的二维位置；
56、则所有的三维点表示为这四个控制点的线性组合；每个三维点可以通过四个控制点和一组权重来表示，这些权重反映了点与控制点之间的相对位置，如下式，其中已经知道一系列8个关键点本体坐标系下的三维坐标piw,i＝1…8，
57、
58、其中，为控制点在世界系下的三维坐标，αij为控制系数，即将所有点利用相机模型和前面步骤中获得的三维点的表示，构建一个关于控制点在相机坐标系下位置的线性方程系统piw；所述系统中的未知数是控制点的坐标和，相机的内参；
59、通过求解线性系统，得到控制点在相机坐标系下的位置；这个步骤通常涉及矩阵运算，使用奇异值分解(svd)找到最优解；
60、得到了控制点在相机坐标系下的位置，通过比较它们在世界坐标系和相机坐标系中的位置，计算出相机的旋转和平移矩阵。
61、一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计系统，该系统具有与上述基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法的步骤对应的程序模块，运行时执行所述的基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法中的步骤。
62、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现所述的一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法的步骤。
63、本发明具有以下有益技术效果：
64、为本发明的深度学习网络算法为空间目标位姿估计提供了一种高效、准确的解决方案。通过采用编码器-解码器结构，这种算法能够深入挖掘图像数据的丰富信息，实现对空间目标六自由度位姿的高精度估计。下面详细介绍该发明的效果和优点：
65、(1)高动态复杂光学条件下的稳定性
66、空间环境下的光学条件复杂多变，包括太阳直射、地球反射光和其他人造光源的干扰。这些条件对空间目标位姿估计提出了极高的挑战。本发明算法通过融合fpn网络的各层回归结果，有效地提取了目标在不同光照条件下的关键特征，增强了模型对于复杂光学环境的适应能力，确保了在高动态变化的空间环境中也能准确估计目标的位姿。
67、(2)克服不同距离和尺度的识别问题
68、传统空间目标位姿估计方法在处理不同距离和尺度的目标时效果差异较大，尤其是远距离目标的识别和定位更为困难。本发明通过整合fpn网络的特征层，使得模型能够同时利用不同尺度的图像信息，从而提高了对各种距离和尺度目标的识别精度，保证了位姿估计的准确性和鲁棒性。
69、(3)精确的三维点位姿解算
70、利用多层神经网络提取图像特征后，算法对预定义的三维点进行像平面投影点位置的回归分析，再采用基于随机一致性透视n点法求解目标运动，实现了高精度的空间目标六自由度位姿估计。这种方法相较于传统的解算技术，能够更准确地反映空间目标的实际位置和姿态，提高了位姿估计的精度和效率。
71、(4)误差评估方法的创新
72、本发明采用了一种将二维点重投影到三维空间的误差评估方法，这种方法能够有效地克服传统误差评估受目标距离影响的问题。通过这种方法，算法能够更加准确地评估位姿估计的误差，从而进一步优化模型性能，确保了位姿估计结果的高度可靠性。
73、(5)测试性能表现
74、在最终测试集中，本发明算法展现出了优异的性能，三轴欧拉角误差的平均值仅为1.92°，最大值不超过5°，显示了模型在空间目标位姿估计方面的高度精确度和稳定性。这些测试结果充分证明了本发明算法在实际应用中的高效性和可靠性，为未来空间任务的执行提供了坚实的技术支持。
1.一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法，其特征在于，所述方法的实现过程为：
2.根据权利要求1所述的一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法，其特征在于，
3.根据权利要求2所述的一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法，其特征在于，
4.根据权利要求1所述的一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法，其特征在于，步骤二的具体实现过程为：
5.根据权利要求1所述的一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法，其特征在于，步骤三的详细训练设置为：
6.根据权利要求4所述的一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法，其特征在于，随机化向量多尺度特征融合处理的具体过程为：
7.根据权利要求5所述的一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法，其特征在于，
8.根据权利要求1所述的一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法，其特征在于，步骤四的具体过程为：
9.一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计系统，其特征在于：该系统具有与上述权利要求1-8任一项权利要求的步骤对应的程序模块，运行时执行所述的一种基于深度学习的复杂环境下多尺度空间目标相对位姿估计深度学习方法及系统中的步骤。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1-8中任一项所述的基于深度学习的复杂环境下多尺度空间目标相对位姿估计方法的步骤。
