本发明是一种矿井复杂环境下联合位姿和辐射场优化的4d场景表征方法，具体是面向复杂矿井环境的联合估计相机位姿和动静态辐射场优化的4d场景表征方法，属于矿井智能定位。
背景技术：
1、近年来，我国“新型基础设施”建设计划的实施极大的促进了煤炭行业智能化水平的提升，保障了一座座智慧矿山的建设，可见煤炭智能化开采已然成为国家重点支持的能源技术之一。
2、其中，作为煤矿智能化技术中重要的一环，准确有效地表征复杂矿井环境，是困难但十分具有价值。一般环境下，经典神经辐射场表征方法使用运动结构恢复(structure-from-motion,sfm)方法预处理数据获得位姿估计结果作为位姿真值，sfm通过提取图像中包含的特征，匹配图像帧间相似特征。根据匹配的特征，基于图形学方法求解位姿。
3、然而，不同于一般小范围的物体级场景，矿井复杂环境下大范围、非平整路面的大量动态干扰给矿井自主机器人的位姿估计、场景感知、环境建模提出挑战，使得一般依赖传统位姿估计方法、单一动态场建模的方法失效，无法完全解耦动态和静态部分，使得动静内容互相干扰，互为噪声，最终影响位姿估计和场景表征的结果。
技术实现思路
1、本发明的目的是提供一种矿井复杂环境下联合位姿和辐射场优化的4d场景表征方法，该方法通过重建矿井环境中的动态部分和静态部分，实现动静分离，对于位姿误差，在实现场景表示的同时，联合优化位姿，以此保证获得准确且一致的场景重建结果，为机器人的感知、定位与导航提供准确的信息。
2、为了实现上述目的，本发明提供一种矿井复杂环境下联合位姿和辐射场优化的4d场景表征方法，包括以下步骤：
3、s1：采集目标矿井复杂环境下的视频数据v、激光雷达扫描数据l；
4、s2：对步骤s1采集的视频数据v和激光雷达扫描数据l进行预处理；
5、s3：构建动静态采样点选择场模型；
6、s4：分别构建时空动态辐射场模型和空间静态辐射场模型；
7、s5：分别构建静态损失和动态损失；
8、s6：渐进式联合优化相机位姿，动静态采样点选择场，空间静态辐射场和时空动态辐射；
9、s7：渲染建模场景的期望视角下场景表征。
10、本发明步骤s2中对采集的视频数据v和激光雷达扫描数据l进行预处理，具体步骤如下：
11、s2.1：使用运动中恢复结构(structure from motion,sfm)方法读取采集的视频数据v，估计视频中每帧图像对应位姿p，包括相机三维空间位置坐标x和相机拍摄方向d；具体为，首先检测每帧图像稳定的特征点，在帧间匹配特征点建立帧间关联，通过匹配好的帧间特征点对估计帧间相对位姿，结合视图几何原理和重投影优化方法对估计的位姿做进一步优化获得更精确的位姿结果；
12、s2.2：使用分割大模型对视频数据v进行预处理，人工对分割结果进一步手动细化和微调动态掩膜mask；
13、s2.3：使用一个预训练的光流估计模型估计表示2d平面运动的帧间光流f，具体为，首先使用卷积网络对每帧图像进行特征编码，针对相邻帧提取出对应位置特征计算视觉相似性，为了同时关注全局和局部，计算不同尺度的视觉相似性形成相似金字塔，使用同样的编码器仅提取相邻帧间位于前面帧的上下文特征与相似金字塔提取的特征共同作为解码cnn的输入回归相邻帧帧间光流；
14、s2.4：将激光雷达扫描数据l中表示距离的激光雷达采样点，首先通过坐标转换从激光雷达坐标系转到数据采集车车体坐标系内，接着，将3d点云数据投影至2d图像平面获得带尺度深度图d；
15、s2.5：定义一个归一化的场景局部空间si，归一化在[-2，2]范围内；构建局部空间si的训练样本集，视频数据v的每帧数据随机采样m条像素光线，对应m个视角{vi|i＝1,2，...，m}，每条像素光线均匀采样n个空间采样点，得到m×n个采样点位置集合，并记录每个采样点视角，组成一个数据样本集。
16、本发明的动静态采样点选择场被定义为一个可学习的四维特征场；
17、分解四维特征场，将四维特征场在xyzt基上分解成特征矩阵组合的形式，其中，每个带时间戳的采样点a＝(x，y，z，t)可在分解后的特征组合中查询对应的场景特征，对于未在格点的采样点，则采用双线性插值，从周围格点特征中插值的方式获取对应的特征，所述的动静态采样点选择场建模公式为：
18、步骤s3中构建的动静采样点选择场模型为：
19、
20、其中：rm表示所分解的平面基组合个数，其中每组平面基包含三个分量，每个分量是两个互相垂直的特征平面；
21、m表示特征平面；
22、r表示当前平面基组合的序号；
23、和分别表示分解在x、y两个垂直轴的第r个平面和分解在z、t两个垂直轴的第r个平面，两个平面在特征空间中也保持垂直关系；
24、和分别表示分解在x、z两个垂直轴的第r个平面和分解在y、t两个垂直轴的第r个平面，两个平面在特征空间中也保持垂直关系；
25、和分别表示分解在y、z两个垂直轴的第r个平面和分解在x、t两个垂直轴的第r个平面，两个平面在特征空间中也保持垂直关系；
26、每个m是一个待优化的特征平面，两两特征平面之间保持正交，这种分解表达的形式能够显示建模对称性，同时在表征能力和存储效率之间取得了平衡；每个采样点a＝(x，y，z，t)均映射到一个f维特征，公式表达为：
27、
28、其中：⊙表示元素乘积；
29、和分别表示采样点a在所有rm个xy平面上在坐标(x，y)处索引的所有特征的组合和采样点a在所有rm个zt平面上在坐标(z，t)处索引的所有特征的组合；
30、和分别表示采样点a在所有rm个xz平面上在坐标(x，z)处索引的所有特征的组合和采样点a在所有rm个yt平面上在坐标(y，t)处索引的所有特征的组合；
31、和分别表示采样点a在所有rm个yz平面上在坐标(y，z)处索引的所有特征的组合和采样点a在所有rm个xt平面上在坐标(x，t)处索引的所有特征的组合；
32、采样的特征再经过sigmoid激活函数获得采样点动静态选择概率θ，公式表达为：
33、θ＝sigmoid(vm(x，y，z，t)) (3)
34、当采样点动静态选择概率θ的值大于0.5时认为其为动态点，将该采样点输入给时空动态辐射场，反之，则输入给空间静态辐射场；动静态采样点选择场通过场景的动态掩膜mask进行监督优化，其可以强分离场景的动静态物，不需要借助神经场景流或者规范场来约束其动态，而是直接将动静态采样点进行动静选择，这可以避免动静态物体的相互干扰。
35、本发明步骤s4中分别构建表示仅空间相关的空间静态辐射场模型和与时间、空间均相关的时空动态辐射场模型，具体为：
36、构建空间静态辐射场，由于场景静态部分不随时间而变化，其特征只和给定的位置有关，即空间静态辐射场能够在xyz基上分解，其特征体被分解为特征向量和特征矩阵的组合，空间静态辐射场进一步被表示为代表几何信息的静态体密度场和代表外观信息的静态外观场公式表达为：
37、
38、
39、其中：rsσ表示静态体密度场所分解的向量-平面基的个数；
40、rsc表示静态外观场所分解的向量-平面基的个数；
41、sr表示当前分解的向量-平面基的序号；
42、表示当前向量-平面基中x轴上的密度特征向量，表示当前向量-平面基中yz轴上的密度特征平面；
43、表示当前向量-平面基中y轴上的密度特征向量，表示当前向量-平面基中xz轴上的密度特征平面；
44、表示当前向量-平面基中z轴上的密度特征向量，表示当前向量-平面基中xy轴上的密度特征平面；
45、表示当前向量-平面基中x轴上的颜色特征向量，表示当前向量-平面基中yz轴上的颜色特征平面；
46、表示当前向量-平面基中y轴上的颜色特征向量，表示当前向量-平面基中xz轴上的颜色特征平面；
47、表示当前向量-平面基中z轴上的颜色特征向量，表示当前向量-平面基中xy轴上的颜色特征平面；
48、每个静态采样点的体密度的计算可以使用relu激活函数推理所对应的密度特征获得，公式表达为：
49、
50、静态采样点的颜色特征使用一个静态点颜色解码器mlpsc获得对应采样点的颜色值，公式表达为：
51、
52、所推理的颜色值将被用于像素值的生成；
53、构建时空动态辐射场，不同于空间静态辐射场只与空间位置相关，时空动态辐射场与时间和空间信息同时相关，为此，其分解同动静态采样点选择场保持一致，其也是由平面基组成，每组平面基包含三个分量，每个分量由两个互相垂直的平面组合而成，同时，与空间静态场类似，一个时空动态辐射场根据密度和颜色属性分为动态密度特征场和动态外观特征场公式表达为：
54、
55、
56、其中：rdσ表示动态体密度场所分解的平面基的个数，rdc表示动态外观场所分解的平面基的个数；
57、dr表示当前分解的平面基的序号；
58、和分别表示动态密度场在xy和zt维度的密度特征平面，两个平面在特征空间中也保持垂直关系；
59、和分别表示动态密度场在xz和yt维度的密度特征平面，两个平面在特征空间中也保持垂直关系；
60、和分别表示动态密度场在yz和xt维度的密度特征平面，两个平面在特征空间中也保持垂直关系；
61、与空间静态辐射场中采样点的体密度解码过程类似，对应的特征也是使用relu激活函数推理进而获得对应的采样点密度值，公式表达为：
62、
63、动态采样点的颜色特征使用一个动态点颜色解码器mlpdc获得对应采样点的颜色值，公式表达为：
64、
65、本发明步骤s5的分别构建静态损失和动态损失如下：
66、s5.1：静态损失构建，最小化预测和静态区域捕获的图像之间的光度损失：
67、
68、其中：mask为动态掩膜；
69、s5.2：动态损失构建，动态部分的光度训练损耗为：
70、
71、在静态损失构建中引入辅助损失来规范训练：
72、s5.1.1：重投影损失重投影操作指根据位姿和深度关系中找到同个三维中物体表面点在相邻帧图像层面的对应关系，首先，通过估计的相机位姿和估计的深度投影像素，按照下一帧的相机位姿将该点投影回下一帧图像平面，找到对应的像素，计算相邻帧中像素的运动，即光流，与raft模型直接估计的光流值计算重投影损失；
73、s5.1.2：差异损失与上述重投影损失类似，在z轴方向对误差进行正则化，具体做法为：根据raft模型估计的2d光流找到对应的像素点，使用体渲染找到其各自对应的表面点的位置，对二者的z轴坐标计算深度差异损失；
74、s5.1.3：单目深度损失上述两种损失不能处理纯旋转相机，经常导致不正确的相机姿态和几何形状，通过体渲染渲染深度图，与上述数据处理中获得的稀深度图之间构建深度损失；
75、静态部分的最终损失为：
76、
77、在动态损失构建中引入辅助损失来规范训练，辅助损失包括重投影损失差异损失单目深度损失
78、引入了三个基于外部先验的损失来更好地模拟动态运动；这三种损失与静态部分相似，但需要模拟三维点的运动，因此通过引入一个场景流mlp来补偿三维运动；
79、
80、其中：sfi→i+1表示时间ti时刻三维点(x，y，z)的三维场景流；
81、通过引入平滑和较小的场景流损失，进一步规范了mlp的三维运动预测：
82、
83、将动态辐射场的梯度与摄像机姿态分离，最后用动态掩膜mask监督非刚性掩码maskd：
84、
85、动态部分的总体损失为：
86、
87、s5.3：将静态和动态部分损失线性组合为最终结果，并预测非刚性md：
88、
89、训练总损失为：
90、
91、利用总损失函数调整神经辐射场网络模型的参数。
92、本发明步骤s6提出的渐进式联合优化相机位姿，动静态采样点选择场，空间静态辐射场和时空动态辐射，具体步骤如下：
93、s6.1：反向回传损失梯度，优化局部空间si内相机位姿，动静态采样点选择场特征以及对应的辐射场特征；
94、s6.2：判断优化的当前帧位姿是否达到设定的局部场边界：若条件为假，则继续优化当前场；若条件为真，则分配新空间si+1；
95、s6.3：局部空间si和新空间si+1之间包含重叠区域，局部空间si边界前数帧的优化位姿作为新空间si+1前数帧的位姿初值将在新空间si+1空间优化期间继续优化，新空间si+1空间优化包括其在内的动静态采样点选择场，辐射场优化和对应的相机位姿优化，辐射场包含空间静态辐射场和时空动态辐射场。
96、本发明步骤s7的渲染建模场景的期望视角下场景表征，具体步骤如下：
97、s7.1：给定期望视角方向d和一组该视角方向下的相机射线r，在射线上进行随机采样空间点获得一组采样点坐标x；
98、根据s3介绍的动静态采样点选择场的采样和推理过程，获得各个采样点的动态可能性，判断其动静归属；
99、其中，静态点将从空间静态辐射场中采样特征，动态点从时空动态辐射场中采样特征；
100、利用采样的特征，使用公式(6)和公式(7)分别获得归属空间静态辐射场的采样点的密度值和颜色值，使用公式(10)和公式(11)获得归属时空动态辐射场的采样点的密度值和颜色值，上述值将用于场景渲染；
101、s7.2：场景渲染，使用体渲染公式，累计相机射线上所有采样点的密度和颜色值，计算获得目标视角下期望的像素值：
102、
103、其中：表示推理获得的期望像素值；
104、δi表示两个连续采样点之间的距离；
105、n表示整条采样射线上所采样的采样点数量，
106、ti表示沿射线的累积透光率。
107、与现有技术相比，本发明通过采集目标矿井复杂环境下的视频数据与激光雷达扫描数据，对采集的数据进行预处理得到所需信息；然后分别构建动静态采样点选择场、空间静态辐射场和时空动态辐射场模型；将训练样本中的采样点输入到动静态采样点选择场中，区分采样点的动静状态后输入到对应的网络中进行训练；并联合相机位姿与空间静态辐射场优化。对动静态场景进行渲染并输入到损失函数中，利用损失函数调整神经辐射场网络模型的参数。最后通过体渲染得到期望视角下的场景表征，在实现场景表示的同时，联合优化位姿，以此保证获得准确且一致的场景重建结果，为机器人的感知、定位与导航提供准确的信息。
1.一种矿井复杂环境下联合位姿和辐射场优化的4d场景表征方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种矿井复杂环境下联合位姿和辐射场优化的4d场景表征方法，其特征在于，步骤s2中对采集的视频数据v和激光雷达扫描数据l进行预处理，具体步骤如下：
3.根据权利要求2所述的一种矿井复杂环境下联合位姿和辐射场优化的4d场景表征方法，其特征在于，动静态采样点选择场被定义为一个可学习的四维特征场；
4.根据权利要求2所述的一种矿井复杂环境下联合位姿和辐射场优化的4d场景表征方法，其特征在于，步骤s4中分别构建表示仅空间相关的空间静态辐射场模型和与时间、空间均相关的时空动态辐射场模型，具体为：
5.根据权利要求2所述的一种矿井复杂环境下联合位姿和辐射场优化的4d场景表征方法，其特征在于，步骤s5的分别构建静态损失和动态损失如下：
6.根据权利要求2所述的一种矿井复杂环境下联合位姿和辐射场优化的4d场景表征方法，其特征在于，步骤s6提出的渐进式联合优化相机位姿，动静态采样点选择场，空间静态辐射场和时空动态辐射，具体步骤如下：
7.根据权利要求2所述的一种矿井复杂环境下联合位姿和辐射场优化的4d场景表征方法，其特征在于，步骤s7的渲染建模场景的期望视角下场景表征，具体步骤如下：
