本发明涉及拓展现实，具体为一种基于xr技术组合场景体验生成系统及装置。
背景技术：
1、扩展显示(xr)包括了增强现实(ar)，虚拟现实(vr)，混合现实(mr)等多种形式xr的出现和使用，也使得在虚拟空间的交互成为了可能；xr场景技术已经在多个领域取得了显著的进展，包括娱乐、医疗、教育、培训和模拟。这些技术能够提供沉浸式的虚拟环境，使用户能够与数字化的角色和对象进行互动。然而，有效的虚拟环境需要高质量的数字形象和视觉效果，以及用户友好的交互性，但是当多人交互的人群语言不通时，会使得多人交互异常的困难，基本上只能是语言相同的人群才可以在一个多人交互场景下进行交互，适应性不强。
技术实现思路
1、针对现有技术的不足，本发明提供了一种基于xr技术组合场景体验生成系统及装置，解决了背景技术中所提出的问题。
2、为实现以上目的，本发明通过以下技术方案予以实现：一种基于xr技术组合场景体验生成系统及装置包括用户交互模块、建模模块、场景数据管理模块、设备适配支持模块、音效模拟模块、网络通信模块、内容更新模块；
3、所述用户交互模块用于获取目标用户的交互语音数据和肢体动作图像并进行用户意图识别，得到目标用户意图，并将其转化为系统可以理解的指令，以实现对虚拟场景的交互操作，所述用户交互模块还包括反馈模块，以提供视觉、听觉形式的反馈，增强用户的沉浸感；
4、所述建模模块用于对目标场景区域进行环境扫描，得到环境深度数据以及空间布局数据并进行数据清洗，得到目标三维数据；对所述目标三维数据以及所述环境深度数据进行空间特征提取并通过迭代最近点算法进行深度信息配准，得到初始空间模型；
5、所述场景数据管理模块用于存储、加载和编辑xr场景中的几何数据，所述场景数据管理模块支持fbx、obj、gltf数据格式，并具备数据压缩和缓存机制，以提高加载速度和系统性能，同时，所述场景数据管理模块还包括用于开发者快速创建和修改场景的编辑工具；
6、所述设备适配支持模块用于识别设备的类型和性能，确保xr场景体验系统能够在各种设备上正常运行，所述设备适配支持模块能够自动调整渲染参数、交互方式，以确保用户体验的一致性和流畅性；
7、所述音效模拟模块用于模拟xr场景中的声音效果，包括环境音、背景音乐、声源定位，通过高质量的音效处理，进一步增强用户的沉浸感，音效模拟系统支持多种音频格式和编码方式，并具备实时处理和混音能力；
8、所述网络通信模块用于实现用户之间的实时通信和数据同步，通过网络通信模块，用户可以在虚拟场景中与其他用户进行互动、协作；所述网络通信模块支持多种网络协议和传输方式，以确保数据传输的稳定性和实时性；
9、所述内容更新模块用于管理和维护xr场景体验系统中的内容资源，通过定期发布更新包和修复补丁，确保系统始终保持在最佳状态，并为用户提供最新的功能和体验；所述内容更新模块能够提供完善的用户支持和服务，以解决用户在使用过程中遇到的问题；
10、优选的，所述建模模块还包括3d渲染引擎模块，所述3d渲染引擎模块用于根据用户的位置和视角，实时计算虚拟空间中物体的位置、光线、材质属性，基于模拟光线信息实时计算出每个像素的颜色和亮度，生成高质量的图像，所述3d渲染引擎模块还具备高效的性能优化机制，以确保在复杂的场景中也能保持流畅的帧率。
11、优选的，所述3d渲染引擎模块中模拟光线信息通过对所述模拟光线虚拟物体进行阴影区域识别，得到阴影区域；对所述阴影区域进行模糊边缘数据构建，得到模拟边缘数据，同时，通过光线衰减数据计算公式对所述阴影区域进行光线衰减数据计算，得到光线衰减数据，其中，所述光线衰减数据计算公式如：
12、其中，a(p)为光线衰减数据，isource为光线强度数据，p表示模拟光线虚拟物体中阴影区域的p点；d为p点到光源的距离；σ(x)为所述模拟光线虚拟物体的介质吸收系数；μ为阴影区域的中心位置参数；σshadow为阴影区域面积；k为阴影区域的形状参数；α为散射系数；
13、将所述光线接收数据、所述模拟边缘数据以及所述光线衰减数据输入所述蒙特卡洛光线追踪算法进行模拟光线信息生成，得到所述模拟xr场景中模拟光线信息。
14、优选的，所述用户交互模块手势识别通过深度感知或图像捕获的设备(如rgb-d摄像头、深度摄像头等)来捕获用户的手势数据，记录用户执行各种手势时的视频或图像数据，去除图像或视频中的噪声，提高数据质量，从背景中分割出手势区域，以便后续处理。
15、优选的，所述用户手势数据转换为统一的尺寸和格式，以便于比较和分析，提取手势的轮廓、边界、角点等形状特征，分析手势的运动轨迹、速度、加速度等动态特征，使用训练好的机器学习模型(如支持向量机、神经网络等)对手势进行分类；使用标注好的手势数据集对模型进行训练，使其能够识别不同的手势；为每个手势定义一个或多个与之关联的指令或操作；当模型识别出用户的手势时，根据手势映射关系将手势转化为相应的指令；将生成的指令发送给xr系统或应用程序，以执行相应的操作。
16、优选的，所述建模模块对所述环境深度数据以及空间布局数据并进行数据清洗，通过深度图像超分辨率算法对所述空间布局数据进行清晰度校正，得到校正布局数据；对所述校正布局数据进行边缘平滑处理，得到平滑布局数据；对所述去除深度数据进行缺失数据填充，得到填充深度数据；将所述平滑布局数据以及所述填充深度数据输入点云转换算法进行空间数据转换，得到所述目标三维数据。
17、优选的，所述用户交互模块还包括双目立体校正模块，所述双目立体校正模块用于提高立体匹配的效率和准确性，消除图像畸变，所述双目立体校正模块矫正计算公式为：
18、dst(x,y)＝src(mapx(x,y),mapy(x,y))
19、其中，src为双目相机图像，dst(x,y)为被校正处理后的双目相机校正图像，map_x、map_y为映射矩阵，在dst(x,y)中，x为双目相机校正图像的横坐标，y为双目相机校正图像的纵坐标；在map_x(x,y)或map_y(x,y)中，x为双目相机图像的横坐标，y为双目相机图像的纵坐标。
20、优选的，所述适配器支持模块还包括陀螺仪单元、眼球追踪单元和显示单元，其中陀螺仪单元用于对用户头部的转动角度进行采集，所述眼球追踪单元用于对用户的眼球进行追踪，确定用户的目光所停留的位置，所述显示单元包括语音识别单元、语音转换单元、频率分析单元、语音区分单元和文字显示单元；
21、优选的，所述语音识别单元用于对用户的语音信号的进行识别，所述频率分析单元用于对语音识别单元所识别的语音信号的频率进行分析，所述语音区分单元根据频率分析单元的分析结果判定该语音信号是否属于用户自身，所述语音转换单元用于将属于用户自身的语音信号转换为文字信息，所述文字显示单元用于将语音转换单元所转换的文字信息以字幕的形式显示在多人交互场景下他人的显示单元上。
22、优选的，包括xr头戴设备，所述xr头戴设备用于实现用户人机交互，所述xr头戴设备两侧与机架连接，所述机架用于将xr头戴设备佩戴于用户头部，所述xr头戴设备内部与耳机电性连接，所述xr头戴设备两侧耳机用于实现反馈虚拟场景音频，所述xr头戴设备正面嵌装有显示器，所述显示器用于反馈虚拟场景实时画面，所述xr头戴设备顶部安装有扫描装置，所述扫描装置用于扫描用户手势指令。
23、本发明提供了一种基于xr技术组合场景体验生成系统及装置。具备以下
24、有益效果：
25、该一种基于xr技术组合场景体验生成系统及装置，通过设置有字幕显示模块，可以对用户的语音信号的频率进行识别，并将用户的语音信号转化为文字信息，通过文字显示单元将用户的文字信息显示在多人交互时他人的显示单元上，使得可以通过字幕对他人说话的内容进行显示，使得在网络不佳或者语言不通时，也可以进行多人交互，使得多人交互系统的适用性更广，适应性更强，将光线接收数据、模拟边缘数据以及光线衰减数据输入蒙特卡洛光线追踪算法进行模拟光线信息生成，得到模拟xr场景中模拟光线信息，从而使虚拟场景中的光感更真实。
1.一种基于xr技术组合场景体验生成系统，其特征在于：包括用户交互模块、建模模块、场景数据管理模块、设备适配支持模块、音效模拟模块、网络通信模块、内容更新模块；
2.根据权利要求1所述一种基于xr技术组合场景体验生成系统，其特征在于：所述建模模块还包括3d渲染引擎模块，所述3d渲染引擎模块用于根据用户的位置和视角，实时计算虚拟空间中物体的位置、光线、材质属性，基于模拟光线信息实时计算出每个像素的颜色和亮度，生成高质量的图像。
3.根据权利要求2所述一种基于xr技术组合场景体验生成系统，其特征在于：所述3d渲染引擎模块中模拟光线信息通过对所述模拟光线虚拟物体进行阴影区域识别，得到阴影区域；对所述阴影区域进行模糊边缘数据构建，得到模拟边缘数据，同时，通过光线衰减数据计算公式对所述阴影区域进行光线衰减数据计算，得到光线衰减数据，其中，所述光线衰减数据计算公式如：
4.根据权利要求1所述一种基于xr技术组合场景体验生成系统，其特征在于：所述用户交互模块手势识别通过深度感知或图像捕获的设备来捕获用户的手势数据，记录用户执行各种手势时的视频或图像数据，去除图像或视频中的噪声，提高数据质量，从背景中分割出手势区域，以便后续处理。
5.根据权利要求3所述一种基于xr技术组合场景体验生成系统，其特征在于：所述用户手势数据转换为统一的尺寸和格式，提取手势的轮廓、边界、角点等形状特征，分析手势的运动轨迹、速度、加速度等动态特征，使用学习模型对手势进行分类；使用标注好的手势数据集对模型进行训练，为每个手势定义一个或多个与之关联的指令或操作；当模型识别出用户的手势时，根据手势映射关系将手势转化为相应的指令；将生成的指令发送给xr系统或应用程序，以执行相应的操作。
6.根据权利要求1所述一种基于xr技术组合场景体验生成系统，其特征在于：所述建模模块对所述环境深度数据以及空间布局数据并进行数据清洗，通过深度图像超分辨率算法对所述空间布局数据进行清晰度校正，得到校正布局数据；对所述校正布局数据进行边缘平滑处理，得到平滑布局数据；对所述去除深度数据进行缺失数据填充，得到填充深度数据；将所述平滑布局数据以及所述填充深度数据输入点云转换算法进行空间数据转换，得到所述目标三维数据。
7.根据权利要求1所述一种基于xr技术组合场景体验生成系统，其特征在于：所述用户交互模块还包括双目立体校正模块，所述双目立体校正模块用于提高立体匹配的效率和准确性，消除图像畸变，所述双目立体校正模块矫正计算公式为：
8.根据权利要求1所述一种基于xr技术组合场景体验生成系统，其特征在于：所述适配器支持模块还包括陀螺仪单元、眼球追踪单元和显示单元，其中陀螺仪单元用于对用户头部的转动角度进行采集，所述眼球追踪单元用于对用户的眼球进行追踪，确定用户的目光所停留的位置，所述显示单元包括语音识别单元、语音转换单元、频率分析单元、语音区分单元和文字显示单元。
9.根据权利要求1所述一种基于xr技术组合场景体验生成系统，其特征在于：所述语音识别单元用于对用户的语音信号进行识别，所述频率分析单元用于对语音识别单元所识别的语音信号的频率进行分析，所述语音区分单元根据频率分析单元的分析结果判定该语音信号是否属于用户自身，所述语音转换单元用于将属于用户自身的语音信号转换为文字信息，所述文字显示单元用于将语音转换单元所转换的文字信息以字幕的形式显示在多人交互场景下他人的显示单元上。
10.根据权利要求1所述一种基于xr技术组合场景体验生成装置，其特征在于：包括xr头戴设备(1)，所述xr头戴设备(1)用于实现用户人机交互，所述xr头戴设备(1)两侧与机架(2)连接，所述xr头戴设备(1)内部与耳机(4)电性连接，所述xr头戴设备(1)正面嵌装有显示器(5)，所述xr头戴设备(1)顶部安装有扫描装置(3)。
