基于神经辐射场的计算全息场生成方法及装置

1.本技术涉及图像数据处理或产生技术领域，特别涉及一种基于神经辐射场的计算全息场生成方法及装置。


背景技术：

2.神经辐射场可以通过对一个复杂场景利用神经网络建模，构建复杂场景对应的隐式表达，并利用训练好的神经辐射场网络可从任意角度对复杂场景进行场景渲染，是3d视觉领域里一个新兴的研究领域。
3.计算全息显示技术是随着数字计算机和全息成像技术的发展所衍生的一项利用数字计算机模拟光学过程并生成全息图的技术，与其他三维显示技术相比，全息显示由于包含了目标的振幅和相位信息，可以精确呈现目标的三维图像，因此被认为是实现三维显示的最佳手段。
4.然而，相关技术受限于观察角度和全息图计算速率等因素，无法快速有效地从多个视角观测目标在对应角度下的三维图像，有待改善。


技术实现要素：

5.本技术提供一种基于神经辐射场的计算全息场生成方法及装置，以解决相关技术受限于观察角度和全息图计算速率等因素，无法快速有效地从多个视角观测目标在对应角度下的三维图像的技术问题。
6.本技术第一方面实施例提供一种基于神经辐射场的计算全息场生成方法，包括以下步骤：获取目标场景的三维模型；采集多个视角下所述目标场景的彩色图像和深度图，并记录相应的角度信息和相机的内外参数；根据所述内外参数，通过所述彩色图像和深度图生成相应视角下的点云数据，计算对应视角下的全息振幅图和相位图，得到真值图像；基于不同角度对所述三维模型在预设深度范围内进行二维采样，得到多个不同深度下相互平行的二维图像；利用预设的神经网络获取对应视角下每个二维图像的振幅分布和相位分布，计算所述每个二维图像的复振幅分布，并叠加得到对应视角下的计算全息图；以及通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图，其中，所述计算全息场网络由所述对应视角下的计算全息图训练得到。
7.可选地，在本技术的一个实施例中，在所述通过预先训练的计算全息场网络，由所述任意观察视点得到所述对应视角下的计算全息图之前，还包括：构建初始神经辐射场网络；基于设置的损失函数、不同视角下的计算全息图和相对应的真值图像训练所述初始神经辐射场网络，得到所述计算全息场网络。
8.可选地，在本技术的一个实施例中，所述利用预设的神经网络获取对应视角下每个二维图像的振幅分布和相位分布，包括：构建所述预设的神经网络的相关函数与网络参数；将所述角度信息和所述多个二维图像输入所述神经网络，获取所述对应视角下每个二维图像的振幅分布和相位分布。
9.可选地，在本技术的一个实施例中，所述计算所述每个二维图像的复振幅分布，并叠加得到对应视角下的计算全息图，包括：计算所述每个二维图像的复振幅分布，其中，所述复振幅分布的计算公式为：，其中，pn为第n个二维图像的复振幅，an为神经网络输出的第n个二维图像的振幅分布，为神经网络输出的第n个二维图像的相位分布，j代表虚数的虚部，本质为相位符号；根据所述每个二维图像的复振幅分布计算对应视角下的计算全息图，其中，所述计算全息图的计算公式为：，其中，hm为第m个自由视角下的计算全息图，n为对应视角下的二维图像总数。
10.可选地，在本技术的一个实施例中，所述损失函数包括：，，其中，和分别为场景在第m个视角下的计算全息振幅图和相位图，和分别为场景在第m个视角下的振幅真值图和相位真值图。
11.可选地，在本技术的一个实施例中，所述通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图，包括：基于观察视点的角度，确定所述观察视点下场景的二维图像采样深度范围；在所述采样深度范围内进行二维图像采样，得到各个深度下二维图像的振幅和相位分布；根据所述各个深度下二维图像的振幅和相位分布计算相应的复振幅分布，并叠加得到所述对应视角下的计算全息图。
12.本技术第二方面实施例提供一种基于神经辐射场的计算全息场生成装置，包括：获取模块，用于获取目标场景的三维模型；记录模块，用于采集多个视角下所述目标场景的彩色图像和深度图，并记录相应的角度信息和相机的内外参数；第一计算模块，用于根据所述内外参数，通过所述彩色图像和深度图生成相应视角下的点云数据，计算对应视角下的全息振幅图和相位图，得到真值图像；采样模块，用于基于不同角度对所述三维模型在预设深度范围内进行二维采样，得到多个不同深度下相互平行的二维图像；第二计算模块，用于利用预设的神经网络获取对应视角下每个二维图像的振幅分布和相位分布，计算所述每个二维图像的复振幅分布，并叠加得到对应视角下的计算全息图；以及生成模块，用于通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图，其中，所述计算全息场网络由所述对应视角下的计算全息图训练得到。
13.可选地，在本技术的一个实施例中，还包括：构建模块，用于构建初始神经辐射场网络；训练模块，用于基于设置的损失函数、不同视角下的计算全息图和相对应的真值图像训练所述初始神经辐射场网络，得到所述计算全息场网络。
14.可选地，在本技术的一个实施例中，所述第二计算模块包括：构建单元，用于构建所述预设的神经网络的相关函数与网络参数；获取单元，用于将所述角度信息和所述多个二维图像输入所述神经网络，获取所述对应视角下每个二维图像的振幅分布和相位分布。
15.可选地，在本技术的一个实施例中，所述第二计算模块包括：计算所述每个二维图像的复振幅分布，其中，所述复振幅分布的计算公式为：，其中，pn为第n个二维图像的复振幅，an为神经网络输出的第n个二维图像的振幅分布，为神经网络输出的第n个二维图像的相位分布，j代表虚数的虚部，本质为相位符号；根据所述每个二维图像的复振幅分布计算对应视角下的计算全息图，其中，所述计算全息图的计算公式为：，其中，hm为第m个自由视角下的计算全息图，n为对应视角下的二维图像总数。
16.可选地，在本技术的一个实施例中，所述损失函数包括：，，其中，和分别为场景在第m个视角下的计算全息振幅图和相位图，和分别为场景在第m个视角下的振幅真值图和相位真值图。
17.可选地，在本技术的一个实施例中，所述生成模块包括：深度确定单元，用于基于观察视点的角度，确定所述观察视点下场景的二维图像采样深度范围；采样单元，用于在所述采样深度范围内进行二维图像采样，得到各个深度下二维图像的振幅和相位分布；叠加单元，用于根据所述各个深度下二维图像的振幅和相位分布计算相应的复振幅分布，并叠加得到所述对应视角下的计算全息图。
18.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于神经辐射场的计算全息场生成方法。
19.本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的基于神经辐射场的计算全息场生成方法。
20.本技术实施例可以利用神经网络对场景进行建模，得到场景的复振幅特性隐式表达，通过输入任意观察角度，得到该方向下场景在不同深度处二维采样图像的振幅和相位分布，进而计算得到对应观测角下场景的计算全息图，可在无需进行大量计算的情况下快速有效地实现自由视角下场景的全息再现，弥补现有计算全息显示存在的观测角度受限和计算速率低等缺陷。由此，解决了相关技术受限于观察角度和全息图计算速率等因素，无法快速有效地从多个视角观测目标在对应角度下的三维图像的技术问题。
21.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
22.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得
明显和容易理解，其中：图1为根据本技术实施例提供的一种基于神经辐射场的计算全息场生成方法的流程图；图2为根据本技术一个实施例的基于神经辐射场的计算全息场生成方法的流程图；图3为根据本技术实施例提供的一种基于神经辐射场的计算全息场生成装置的结构示意图；图4为根据本技术实施例提供的电子设备的结构示意图。
具体实施方式
23.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
24.下面参考附图描述本技术实施例的基于神经辐射场的计算全息场生成方法及装置。针对上述背景技术中心提到的相关技术受限于观察角度和全息图计算速率等因素，无法快速有效地从多个视角观测目标在对应角度下的三维图像的技术问题，本技术提供了一种基于神经辐射场的计算全息场生成方法，在该方法中，可以利用神经网络对场景进行建模，得到场景的复振幅特性隐式表达，通过输入任意观察角度，得到该方向下场景在不同深度处二维采样图像的振幅和相位分布，进而计算得到对应观测角下场景的计算全息图，可在无需进行大量计算的情况下快速有效地实现自由视角下场景的全息再现，弥补现有计算全息显示存在的观测角度受限和计算速率低等缺陷。由此，解决了相关技术受限于观察角度和全息图计算速率等因素，无法快速有效地从多个视角观测目标在对应角度下的三维图像的技术问题。
25.具体而言，图1为本技术实施例所提供的一种基于神经辐射场的计算全息场生成方法的流程示意图。
26.如图1所示，该基于神经辐射场的计算全息场生成方法包括以下步骤：在步骤s101中，获取目标场景的三维模型。
27.可以理解的是，本技术实施例可通过不同方式获取场景的三维模型，例如可以通过建模软件对场景进行三维渲染建模，或者利用激光雷达对场景进行三维扫描等，本技术实施例仅针对场景三维模型，因此不受场景三维模型构建方法的局限。
28.在步骤s102中，采集多个视角下目标场景的彩色图像和深度图，并记录相应的角度信息和相机的内外参数。
29.在实际执行过程中，本技术实施例可通过不同方式采集多个视角下场景的彩色图像和深度图，例如可以通过rgb-d（rgb-depth map，深度图像）相机对场景进行实拍或者利用软件对场景进行渲染等，本技术实施例仅针对场景的彩色图像、深度图以及采集过程中涉及到的角度和相机内外参数信息，因此不受场景彩色图像和深度图像采集方法的局限。
30.在步骤s103中，根据内外参数，通过彩色图像和深度图生成相应视角下的点云数据，计算对应视角下的全息振幅图和相位图，得到真值图像。
31.作为一种可能实现的方式，本技术实施例可以根据相机的内外参数，通过不同视
角下的彩色图像和深度图，生成相应视角下的点云数据，并通过点云数据计算对应视角下的全息振幅图和相位图作为真值图像，举例而言，本技术实施例可以直接通过点云数据进行计算，或者先将点云数据渲染成离散面片后再进行计算，本技术实施例针对场景在对应视角下的全息振幅真值图和相位真值图，因此不受场景全息振幅真值图和相位真值图计算方法的局限。
32.在步骤s104中，基于不同角度对三维模型在预设深度范围内进行二维采样，得到多个不同深度下相互平行的二维图像。
33.在实际执行过程中，本技术实施例可以基于不同角度，对三维模型在预设深度范围内进行二维采样，进而获得多个不同深度下，相互平行的二维图像，其中，采样的二维图像法线方向与观测角方向一致且二维图像分辨率和计算的真值图像分辨率相同。
34.需要注意的是，预设深度范围可以由本领域技术人员根据实际情况进行设置，在此不做具体限制。
35.在步骤s105中，利用预设的神经网络获取对应视角下每个二维图像的振幅分布和相位分布，计算每个二维图像的复振幅分布，并叠加得到对应视角下的计算全息图。
36.具体地，本技术实施例可以利用预设的神经网络获取对应视角下的每个二维图像的振幅分布和相位分布，并计算每个二维图像的复振幅分布，进而通过叠加得到对应视角下的计算全息图。本技术实施例可以利用神经网络建立观测角度、沿着观测角度对场景进行二维采样的图像与输出的采样图像振幅和相位分布之间的联系，进而构建相应的神经辐射场即计算全息场，并通过各个二维采样图像的复振幅分布完成相应视角下全息图的计算，从而实现自由视角下场景的全息图快速生成，有效提高计算全息显示的实用性和适用性。
37.可选地，在本技术的一个实施例中，利用预设的神经网络获取对应视角下每个二维图像的振幅分布和相位分布，包括：构建预设的神经网络的相关函数与网络参数；将角度信息和多个二维图像输入神经网络，获取对应视角下每个二维图像的振幅分布和相位分布。
38.进一步地，本技术实施例可以构建预设的神经网络的相关函数与网络参数，将记录的观测角度信息和对应视角下各个二维图像输入神经网络，从而获取相应视角下各个二维图像的振幅分布和相位分布。本技术实施例可以沿着观测角度对场景进行二维采样的图像与输出的采样图像振幅和相位分布之间的联系，进而构建相应的神经辐射场，即计算全息场，有利于后续进行相应视角下的全息图的计算，从而实现自由视角下场景的全息图快速生成，有效提高计算全息显示的实用性和适用性。
39.可选地，在本技术的一个实施例中，计算每个二维图像的复振幅分布，并叠加得到对应视角下的计算全息图，包括：计算每个二维图像的复振幅分布，其中，复振幅分布的计算公式为：，其中，pn为第n个二维图像的复振幅，an为神经网络输出的第n个二维图像的振幅分布，为神经网络输出的第n个二维图像的相位分布，j代表虚数的虚部，本质为相位符号；根据每个二维图像的复振幅分布计算对应视角下的计算全息图，其中，计算全息图的计算公式为：
，其中，hm为第m个自由视角下的计算全息图，n为对应视角下的二维图像总数。
40.在步骤s106中，通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图，其中，计算全息场网络由对应视角下的计算全息图训练得到。
41.在实际执行过程中，本技术实施例可以由对应视角下的计算全息图训练得到计算全息场网络，并通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图，本技术实施例可以通过构建相应的神经辐射场，即计算全息场，并通过各个二维采样图像的复振幅分布完成相应视角下全息图的计算，从而实现自由视角下场景的全息图快速生成，有效提高计算全息显示的实用性和适用性。
42.可选地，在本技术的一个实施例中，在通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图之前还包括：构建初始神经辐射场网络；基于设置的损失函数、不同视角下的计算全息图和相对应的真值图像训练初始神经辐射场网络，得到计算全息场网络。
43.作为一种可能实现的方式，本技术实施例可以通过构建初始神经辐射场网络，并基于设置的损失函数、不同视角下的计算全息图和相对应的真值图像训练初始神经辐射场网络，训练完成后的神经辐射场网络即为对应场景下的计算全息场网络。
44.可选地，在本技术的一个实施例中，损失函数包括：，，其中，和分别为场景在第m个视角下的计算全息振幅图和相位图，和分别为场景在第m个视角下的振幅真值图和相位真值图。
45.具体地，本技术实施例的神经辐射场网络为一个以二维向量和二维图像作为输入的函数，其中，二维向量为视角方向，二维图像为视角方向下某一深度的切割图i，函数的输出为对应二维图像的振幅分布a和相位分布，即表示各个二维图像的振幅和相位分布，并且预设的损失函数，包括：，，其中，和分别为场景在第m个视角下的计算全息振幅图和相位图，和分别为场景在第m个视角下的振幅真值图和相位真值图。
46.可选地，在本技术的一个实施例中，通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图，包括：基于观察视点的角度，确定观察视点下场景的二维图像采样深度范围；在采样深度范围内进行二维图像采样，得到各个深度下二维图像的振幅和相位分布；根据各个深度下二维图像的振幅和相位分布计算相应的复振幅分布，并叠加得到对应视角下的计算全息图。
47.进一步地，本技术实施例可以通过预先训练的计算全息场网络，由任意观察视点
得到对应视角下的计算全息图，其具体步骤如下：1、给定观察视点的角度，确定指定视点下场景的二维图像采样深度范围；2、在采样深度范围内进行二维图像采样，利用计算全息场网络得到各个深度下二维图像的振幅和相位分布；3、根据各个采样图像的振幅和相位分布计算相应的复振幅分布；4、对各个采样图像的复振幅分布叠加得到相应观察视点下的计算全息图。
48.下面结合图2所示，以一个具体实施例对本技术实施例的基于神经辐射场的计算全息场生成方法进行详细阐述。
49.如图2所示，本技术实施例的步骤如下：步骤s201：获取场景的三维模型。可以理解的是，本技术实施例可通过不同方式获取场景的三维模型，例如可以通过建模软件对场景进行三维渲染建模，或者利用激光雷达对场景进行三维扫描等，本技术实施例仅针对场景三维模型，因此不受场景三维模型构建方法的局限。
50.步骤s202：采集多个视角下场景的彩色图像和深度图，并记录相应的角度信息和相机的内外参数。在实际执行过程中，本技术实施例可通过不同方式采集多个视角下场景的彩色图像和深度图，例如可以通过rgb-d相机对场景进行实拍或者利用软件对场景进行渲染等，本技术实施例仅针对场景的彩色图像、深度图以及采集过程中涉及到的角度和相机内外参数信息，因此不受场景彩色图像和深度图像采集方法的局限。
51.步骤s203：根据相机的内外参数，通过不同视角下的彩色图像和深度图生成相应视角下的点云数据。作为一种可能实现的方式，本技术实施例可以根据相机的内外参数，通过不同视角下的彩色图像和深度图，生成相应视角下的点云数据。
52.步骤s204：通过点云数据计算对应视角下的全息振幅图和相位图作为真值图像。举例而言，本技术实施例可以直接通过点云数据进行计算，或者先将点云数据渲染成离散面片后再进行计算，本技术实施例针对场景在对应视角下的全息振幅真值图和相位真值图，因此不受场景全息振幅真值图和相位真值图计算方法的局限。
53.步骤s205：基于不同角度对场景三维模型在一定深度范围内进行二维采样得到多个不同深度下相互平行的二维图像。在实际执行过程中，本技术实施例可以基于不同角度，对三维模型在预设深度范围内进行二维采样，进而获得多个不同深度下，相互平行的二维图像，其中，采样的二维图像法线方向与观测角方向一致且二维图像分辨率和计算的真值图像分辨率相同。
54.需要注意的是，预设深度范围可以由本领域技术人员根据实际情况进行设置，在此不做具体限制。
55.步骤s206：利用预设的神经网络获取对应视角下各个二维图像的振幅分布和相位分布。进一步地，本技术实施例可以构建预设的神经网络的相关函数与网络参数，将记录的观测角度信息和对应视角下各个二维图像输入神经网络，从而获取相应视角下各个二维图像的振幅分布和相位分布。
56.其中，计算每个二维图像的复振幅分布，并叠加得到对应视角下的计算全息图，包括：计算每个二维图像的复振幅分布，其中，复振幅分布的计算公式为：
，其中，pn为第n个二维图像的复振幅，an为神经网络输出的第n个二维图像的振幅分布，为神经网络输出的第n个二维图像的相位分布，j代表虚数的虚部，本质为相位符号；根据每个二维图像的复振幅分布计算对应视角下的计算全息图，其中，计算全息图的计算公式为：，其中，hm为第m个自由视角下的计算全息图，n为对应视角下的二维图像总数。
57.步骤s207：计算各个二维图像的复振幅分布并叠加得到对应视角下的计算全息图。在实际执行过程中，本技术实施例可以由对应视角下的计算全息图训练得到计算全息场网络，并通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图。
58.步骤s208：构建初始神经辐射场网络，并基于设置的损失函数、不同视角下的计算全息图和相对应的真值图像训练初始神经辐射场网络，训练完成后的神经辐射场网络即为对应场景下的计算全息场网络。
59.作为一种可能实现的方式，本技术实施例可以通过构建初始神经辐射场网络，并基于设置的损失函数、不同视角下的计算全息图和相对应的真值图像训练初始神经辐射场网络，训练完成后的神经辐射场网络即为对应场景下的计算全息场网络。
60.具体地，本技术实施例的神经辐射场网络为一个以二维向量和二维图像作为输入的函数，其中，二维向量为视角方向，二维图像为视角方向下某一深度的切割图i，函数的输出为对应二维图像的振幅分布a和相位分布，即表示各个二维图像的振幅和相位分布，并且预设的损失函数，包括：，，其中，和分别为场景在第m个视角下的计算全息振幅图和相位图，和分别为场景在第m个视角下的振幅真值图和相位真值图。
61.步骤s209：通过计算全息场网络，给定任意观察视点即可得到该视角下的计算全息图。进一步地，本技术实施例可以通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图，其具体步骤如下：1、给定观察视点的角度，确定指定视点下场景的二维图像采样深度范围；2、在采样深度范围内进行二维图像采样，利用计算全息场网络得到各个深度下二维图像的振幅和相位分布；3、根据各个采样图像的振幅和相位分布计算相应的复振幅分布；4、对各个采样图像的复振幅分布叠加得到相应观察视点下的计算全息图。
62.根据本技术实施例提出的基于神经辐射场的计算全息场生成方法，可以利用神经网络对场景进行建模，得到场景的复振幅特性隐式表达，通过输入任意观察角度，得到该方向下场景在不同深度处二维采样图像的振幅和相位分布，进而计算得到对应观测角下场景
的计算全息图，可在无需进行大量计算的情况下快速有效地实现自由视角下场景的全息再现，弥补现有计算全息显示存在的观测角度受限和计算速率低等缺陷。由此，解决了相关技术受限于观察角度和全息图计算速率等因素，无法快速有效地从多个视角观测目标在对应角度下的三维图像的技术问题。
63.其次参照附图描述根据本技术实施例提出的基于神经辐射场的计算全息场生成装置。
64.图3是本技术实施例的基于神经辐射场的计算全息场生成装置的方框示意图。
65.如图3所示，该基于神经辐射场的计算全息场生成装置10包括：获取模块100、记录模块200、第一计算模块300、采样模块400、第二计算模块500和生成模块600。
66.具体地，获取模块100，用于获取目标场景的三维模型。
67.记录模块200，用于采集多个视角下目标场景的彩色图像和深度图，并记录相应的角度信息和相机的内外参数。
68.第一计算模块300，用于根据内外参数，通过彩色图像和深度图生成相应视角下的点云数据，计算对应视角下的全息振幅图和相位图，得到真值图像。
69.采样模块400，用于基于不同角度对三维模型在预设深度范围内进行二维采样，得到多个不同深度下相互平行的二维图像。
70.第二计算模块500，用于利用预设的神经网络获取对应视角下每个二维图像的振幅分布和相位分布，计算每个二维图像的复振幅分布，并叠加得到对应视角下的计算全息图。
71.生成模块600，用于通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图，其中，计算全息场网络由对应视角下的计算全息图训练得到。
72.可选地，在本技术的一个实施例中，基于神经辐射场的计算全息场生成装置10还包括：构建模块和训练模块。
73.其中，构建模块，用于构建初始神经辐射场网络。
74.训练模块，用于基于设置的损失函数、不同视角下的计算全息图和相对应的真值图像训练初始神经辐射场网络，得到计算全息场网络。
75.可选地，在本技术的一个实施例中，第二计算模块500包括：构建单元和获取单元。
76.其中，构建单元，用于构建预设的神经网络的相关函数与网络参数。
77.获取单元，用于将角度信息和多个二维图像输入神经网络，获取对应视角下每个二维图像的振幅分布和相位分布。
78.可选地，在本技术的一个实施例中，第二计算模块500包括：计算每个二维图像的复振幅分布，其中，复振幅分布的计算公式为：，其中，pn为第n个二维图像的复振幅，an为神经网络输出的第n个二维图像的振幅分布，为神经网络输出的第n个二维图像的相位分布，j代表虚数的虚部，本质为相位符号；根据每个二维图像的复振幅分布计算对应视角下的计算全息图，其中，计算全息图的计算公式为：，
其中，hm为第m个自由视角下的计算全息图，n为对应视角下的二维图像总数。
79.可选地，在本技术的一个实施例中，损失函数包括：，，其中，和分别为场景在第m个视角下的计算全息振幅图和相位图，和分别为场景在第m个视角下的振幅真值图和相位真值图。
80.需要说明的是，前述对基于神经辐射场的计算全息场生成方法实施例的解释说明也适用于该实施例的基于神经辐射场的计算全息场生成装置，此处不再赘述。
81.根据本技术实施例提出的基于神经辐射场的计算全息场生成装置，可以利用神经网络对场景进行建模，得到场景的复振幅特性隐式表达，通过输入任意观察角度，得到该方向下场景在不同深度处二维采样图像的振幅和相位分布，进而计算得到对应观测角下场景的计算全息图，可在无需进行大量计算的情况下快速有效地实现自由视角下场景的全息再现，弥补现有计算全息显示存在的观测角度受限和计算速率低等缺陷。由此，解决了相关技术受限于观察角度和全息图计算速率等因素，无法快速有效地从多个视角观测目标在对应角度下的三维图像的技术问题。
82.图4为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括：存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
83.处理器402执行程序时实现上述实施例中提供的基于神经辐射场的计算全息场生成方法。
84.进一步地，电子设备还包括：通信接口403，用于存储器401和处理器402之间的通信。
85.存储器401，用于存放可在处理器402上运行的计算机程序。
86.存储器401可能包含高速ram存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
87.如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构（industry standard architecture，简称为isa）总线、外部设备互连（peripheral component，简称为pci）总线或扩展工业标准体系结构（extended industry standard architecture，简称为eisa）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
88.可选地，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
89.处理器402可能是一个中央处理器（central processing unit，简称为cpu），或者是特定集成电路（application specific integrated circuit，简称为asic），或者是被配置成实施本技术实施例的一个或多个集成电路。
90.本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于神经辐射场的计算全息场生成方法。
91.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
92.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
93.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
94.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或n个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
95.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
96.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
97.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模
块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
98.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种基于神经辐射场的计算全息场生成方法，其特征在于，包括以下步骤：获取目标场景的三维模型；采集多个视角下所述目标场景的彩色图像和深度图，并记录相应的角度信息和相机的内外参数；根据所述内外参数，通过所述彩色图像和深度图生成相应视角下的点云数据，计算对应视角下的全息振幅图和相位图，得到真值图像；基于不同角度对所述三维模型在预设深度范围内进行二维采样，得到多个不同深度下相互平行的二维图像；利用预设的神经网络获取对应视角下每个二维图像的振幅分布和相位分布，计算所述每个二维图像的复振幅分布，并叠加得到对应视角下的计算全息图；以及通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图，其中，所述计算全息场网络由所述对应视角下的计算全息图训练得到。2.根据权利要求1所述的方法，其特征在于，在所述通过预先训练的计算全息场网络，由所述任意观察视点得到所述对应视角下的计算全息图之前，还包括：构建初始神经辐射场网络；基于设置的损失函数、不同视角下的计算全息图和相对应的真值图像训练所述初始神经辐射场网络，得到所述计算全息场网络。3.根据权利要求1所述的方法，其特征在于，所述利用预设的神经网络获取对应视角下每个二维图像的振幅分布和相位分布，包括：构建所述预设的神经网络的相关函数与网络参数；将所述角度信息和多个二维图像输入所述神经网络，获取所述对应视角下每个二维图像的振幅分布和相位分布。4.根据权利要求1所述的方法，其特征在于，所述计算所述每个二维图像的复振幅分布，并叠加得到对应视角下的计算全息图，包括：计算所述每个二维图像的复振幅分布，其中，所述复振幅分布的计算公式为：，其中，p
n
为第n个二维图像的复振幅，a
n
为神经网络输出的第n个二维图像的振幅分布，为神经网络输出的第n个二维图像的相位分布，j代表虚数的虚部，本质为相位符号；根据所述每个二维图像的复振幅分布计算对应视角下的计算全息图，其中，所述计算全息图的计算公式为：，其中，h
m
为第m个自由视角下的计算全息图，n为对应视角下的二维图像总数。5.根据权利要求2所述的方法，其特征在于，所述损失函数包括：，，其中，和分别为场景在第m个视角下的计算全息振幅图和相位图，和
分别为场景在第m个视角下的振幅真值图和相位真值图。6.根据权利要求1-5任一项所述的方法，其特征在于，所述通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图，包括：基于观察视点的角度，确定所述观察视点下场景的二维图像采样深度范围；在所述采样深度范围内进行二维图像采样，得到各个深度下二维图像的振幅和相位分布；根据所述各个深度下二维图像的振幅和相位分布计算相应的复振幅分布，并叠加得到所述对应视角下的计算全息图。7.一种基于神经辐射场的计算全息场生成装置，其特征在于，包括：获取模块，用于获取目标场景的三维模型；记录模块，用于采集多个视角下所述目标场景的彩色图像和深度图，并记录相应的角度信息和相机的内外参数；第一计算模块，用于根据所述内外参数，通过所述彩色图像和深度图生成相应视角下的点云数据，计算对应视角下的全息振幅图和相位图，得到真值图像；采样模块，用于基于不同角度对所述三维模型在预设深度范围内进行二维采样，得到多个不同深度下相互平行的二维图像；第二计算模块，用于利用预设的神经网络获取对应视角下每个二维图像的振幅分布和相位分布，计算所述每个二维图像的复振幅分布，并叠加得到对应视角下的计算全息图；以及生成模块，用于通过预先训练的计算全息场网络，由任意观察视点得到对应视角下的计算全息图，其中，所述计算全息场网络由所述对应视角下的计算全息图训练得到。8.根据权利要求7所述的装置，其特征在于，还包括：构建模块，用于构建初始神经辐射场网络；训练模块，用于基于设置的损失函数、不同视角下的计算全息图和相对应的真值图像训练所述初始神经辐射场网络，得到所述计算全息场网络。9.根据权利要求7所述的装置，其特征在于，所述第二计算模块包括：构建单元，用于构建所述预设的神经网络的相关函数与网络参数；获取单元，用于将所述角度信息和多个二维图像输入所述神经网络，获取所述对应视角下每个二维图像的振幅分布和相位分布。10.根据权利要求7所述的装置，其特征在于，所述第二计算模块包括：计算所述每个二维图像的复振幅分布，其中，所述复振幅分布的计算公式为：，其中，p
n
为第n个二维图像的复振幅，a
n
为神经网络输出的第n个二维图像的振幅分布，为神经网络输出的第n个二维图像的相位分布，j代表虚数的虚部，本质为相位符号；根据所述每个二维图像的复振幅分布计算对应视角下的计算全息图，其中，所述计算全息图的计算公式为：，其中，h
m
为第m个自由视角下的计算全息图，n为对应视角下的二维图像总数。
11.根据权利要求8所述的装置，其特征在于，所述损失函数包括：，，其中，和分别为场景在第m个视角下的计算全息振幅图和相位图，和分别为场景在第m个视角下的振幅真值图和相位真值图。12.根据权利要求7-11任一项所述的装置，其特征在于，所述生成模块包括：深度确定单元，用于基于观察视点的角度，确定所述观察视点下场景的二维图像采样深度范围；采样单元，用于在所述采样深度范围内进行二维图像采样，得到各个深度下二维图像的振幅和相位分布；叠加单元，用于根据所述各个深度下二维图像的振幅和相位分布计算相应的复振幅分布，并叠加得到所述对应视角下的计算全息图。13.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-6任一项所述的基于神经辐射场的计算全息场生成方法。14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-6任一项所述的基于神经辐射场的计算全息场生成方法。

技术总结
本申请涉及图像数据处理或产生技术领域，特别涉及一种基于神经辐射场的计算全息场生成方法及装置，其中，方法包括：获取目标场景的三维模型；采集多个视角下目标场景的彩色图像和深度图，记录相应的角度信息和相机的内外参数，生成点云数据，计算全息振幅图和相位图，得到真值图像；基于不同角度对三维模型进行二维采样，得到多个二维图像；利用预设的神经网络获取每个二维图像的振幅分布和相位分布，计算并叠加得到对应视角下的计算全息图；通过预先训练的计算全息场网络，得到对应视角下的计算全息图。由此，解决了相关技术受限于观察角度和全息图计算速率等因素，无法快速有效地从多个视角观测目标在对应角度下的三维图像的技术问题。术问题。术问题。


技术研发人员：于涛 邬京耀 戴琼海
受保护的技术使用者：清华大学
技术研发日：2022.04.19
技术公布日：2022/5/25