本发明涉及的是一种图像处理领域的技术,具体是一种用于安检的三维物体x光图像生成方法及系统。
背景技术:
1、现有图像生成技术在生成x光图像时,需要使用特殊格式的信号作为输入,如x光图像或违禁品的三维模型等,而不能利用便于获取的文字描述或自然图像作为输入;改进方法生成x光图像时,通常只能生成给定的违禁品后,与既有的x光图像合成带场景的图片,其不能生成完整场景,且生成的行李种类较少,生成部分通常与背景部分融合程度较低。
技术实现思路
1、本发明针对现有技术存在的上述不足,提出一种用于安检的三维物体x光图像生成方法及系统,通过输入图像或文字生成符合特定x光设备特征的高质量的x光图像,可以缓解现有x光安检数据集标注数据短缺的问题,进而促进ai识别系统的开发。
2、本发明是通过以下技术方案实现的:
3、本发明涉及一种用于安检的三维物体x光图像生成方法,通过文/图到图的预训练模型,根据文字或图像提示分别生成行李及行李箱的独立三维表示;基于随机组合生成包含不同行李的行李箱的组合三维表示;根据标准试样和已知型号的x光安检设备的扫描结果得到x光吸收公式以及材料对x光的质量吸收系数,进而用于对组合三维表示进行渲染,生成特定x光设备特征的x光图像。
4、本发明涉及一种实现上述方法的用于安检的三维物体x光图像生成系统,包括:三维物体仿真模块、行李箱仿真模块和x光图像生成模块,其中:三维物体仿真模块根据行李及行李箱的图/文提示以及相机外参信息,经训练后生成对应的三维显式网格表示结果,行李箱仿真模块根据多个显式网格表示,筛选可放置于行李箱的行李并确定这些行李的摆放位置,得到行李在行李箱中的相对位置关系,x光图像生成模块根据给定x光安检设备的标定结果、显式网格信息及其相对位置关系、规定的显式网格的材料属性,基于x光吸收公式渲染x光安检图像,得到符合给定x光安检设备特征的x光安检图像结果。
5、技术效果
6、本发明使用多视角合成数据集微调图/文到图的预训练模型,辅以基于x光安检光路建模和x光吸收物理公式的x光渲染模型,实现对单个物体的生成结果清晰,边缘准确,杂色伪影较少;在场景下的生成部分自然,不同物体的颜色与真实设备下获取的x光图像主观感受接近。
1.一种用于安检的三维物体x光图像生成方法,其特征在于,通过文/图到图的预训练模型,根据文字或图像提示分别生成行李及行李箱的独立三维表示;基于随机组合生成包含不同行李的行李箱的组合三维表示;根据标准试样和已知型号的x光安检设备的扫描结果得到x光吸收公式以及材料对x光的质量吸收系数,进而用于对组合三维表示进行渲染,生成特定x光设备特征的x光图像。
2.根据权利要求1所述的用于安检的三维物体x光图像生成方法,其特征是,所述的独立三维表示,通过以下方式得到:
3.根据权利要求2所述的用于安检的三维物体x光图像生成方法,其特征是,所述的步骤1.1,具体包括:
4.根据权利要求2所述的用于安检的三维物体x光图像生成方法,其特征是,所述的步骤1.2,具体包括:
5.根据权利要求1所述的用于安检的三维物体x光图像生成方法,其特征是,所述的组合三维表示,通过随机组合步骤1生成的行李的网格放入行李箱的网格得到,具体包括:
6.根据权利要求1所述的用于安检的三维物体x光图像生成方法,其特征是,所述的生成特定x光设备特征的x光图像,具体包括:
7.一种实现权利要求1-7中任一所述方法的三维物体x光图像生成系统,其特征在于,包括:三维物体仿真模块、行李箱仿真模块和x光图像生成模块,其中:三维物体仿真模块根据行李及行李箱的图/文提示以及相机外参信息,经训练后生成对应的三维显式网格表示结果,行李箱仿真模块根据多个显式网格表示,筛选可放置于行李箱的行李并确定这些行李的摆放位置,得到行李在行李箱中的相对位置关系,x光图像生成模块根据给定x光安检设备的标定结果、显式网格信息及其相对位置关系、规定的显式网格的材料属性,基于x光吸收公式渲染x光安检图像,得到符合给定x光安检设备特征的x光安检图像结果。
8.根据权利要求7所述的三维物体x光图像生成系统,其特征是,所述的三维物体仿真模块包括:提示单元、三维表示单元和网格提取单元,其中:提示单元通过图/文到图的预训练模型在多视角合成数据集上微调,从而生成准确多视角图像;三维表示单元在提示单元的监督下,学习图/文提示信息对应物体的三维表征;网格提取单元将三维表示单元输出的三维表示提取为显式多边形网格(mesh),通过顶点、边和面的集合定义多边形物体的形状;
9.根据权利要求7所述的三维物体x光图像生成系统,其特征是,所述的行李箱仿真模块包括:随机排序单元、尺寸检测单元和随机放置单元,其中:随机排序单元生成行李放入行李箱的随机顺序;尺寸检测单元对当前行李放入行李箱进行可行性检测,即判断行李可否放入行李箱或丢弃;随机放置单元在行李箱的可行区域内随机放置行李并记录放置的结果,即更新行李网格在行李箱网格坐标系中各个顶点的坐标并将记录的行李放置结果输出至x光图像生成模块。
10.根据权利要求7所述的三维物体x光图像生成系统,其特征是,所述的x光图像生成模块包括:设备标定单元、厚度计算单元和x光图像渲染单元,其中:设备标定单元基于一组标准试样在所需x光安检设备下的扫描结果,标定待仿真的安检设备的x光光学特性;厚度计算单元根据行李箱仿真模块生成的行李排放组合,计算沿x光方向行李或行李箱任意位置的厚度,即经过相机平面该位置的x光,穿过行李或行李箱的距离;x光图像渲染单元根据标定信息和厚度信息,渲染生成给定材料下的用于安检的三维物体x光图像。
