本发明属于计算机信息，具体涉及一种雷达回波气象数据仿真预测生成方法、装置、电子设备及存储介质。
背景技术：
1、准确高效的气象预测对于支持农业生产、保障公共安全、促进交通安全、支持能源管理、服务国防和军事以及提升公众生活质量有重要意义。短时降雨预测一直是重大自然灾害中关注和研究的重点问题，通过不断提升气象预测的准确性和及时性，可以更好地应对自然灾害、优化资源利用、保障生命财产安全，促进经济社会的可持续发展。
2、然而，由于气象数据来源广泛、数据量大、维度高以及大气系统的非线性特性和高不确定性，短时降雨预测往往面临很大的挑战。雷达回波数据具有严格的时序特征,能够更直观、高效的反映降水实况,对于雷达回波数据的预测分析可以有效提高灾害天气监测能力，改进天气预报质量。然而,目前在实际应用中只有经验丰富的预报员才能较为准确的给出定性的预报,主观性较强。
3、传统短时降雨预测主要有统计预报，数值模式预报及雷达外推方法。这些方法缺乏物理基础、预报精度不高，不能准确地捕捉较短时内、中小尺度强对流的发生、发展。当下，随着人工智能技术的快速发展，深度学习模型可以被训练为根据历史时空信息预测分析未来发展情况，已经在很多领域得到了广泛应用，生成式人工智能技术的快速迭代发展正在计算机视觉领域引发热潮。施恩等人提出了一种基于动态卷积神经网络方法来实现雷达回波的外推,其性能要胜于传统方法cotrec和diterc。施行健等人提出一种卷积长短期记忆网络模型,该模型可以同时学习到雷达图像空间和时间上的特征,解决回波外推问题的同时也获得了比实时光流法更加准确的结果。张玲玲在其基础上将卷积自编码器与convlstm进行对接,增强了外推图像的质量。当前的方法在一定程度上提升了预测效果，但是仍然存在准确率较低的问题。
4、专利号为cn2023116590135，发明名称为一种基于注意力机制的多频分析视频生成方法的中国专利，构建了基于注意力机制和小波分析的生成模型进行自动驾驶场景的生成，由于其采用了级联的时序小波分析模块，所以该模型更适用于较长时的场景生成，在短时降雨预测方面存在较大挑战。
技术实现思路
1、本发明提出了一种雷达回波气象数据仿真预测生成方法、装置、电子设备及存储介质，以解决现有技术预测效果差、泛化性不强的问题。通过构建基于改进的扩散模型的视频生成模型，并根据语义信息预测生成雷达回波视频的帧间变化序列，然后将帧间变化序列与初始帧进行融合得到生成的短时雷达回波视频序列，过程中引入bert模型对文本信息进行编码，使模型能够更好地关注到语义特征，提高训练效率。
2、本发明技术方案如下：
3、一种雷达回波气象数据仿真预测生成方法，包括以下步骤：
4、s1、构建雷达回波气象视频数据库，从数据库中获取视频序列；
5、s2、对雷达回波视频数据进行预处理，并将视频序列数据集划分为训练集和测试集；
6、s3、构建unet-3d网络模型；
7、s4、构建roberta模型，并利用预训练的模型权重对文本信息进行特征编码，作为控制视频生成的条件信息xtext；
8、s5、构建基于transformer的图片编码器模型，将视频初始帧输入图片编码器，用于从初始帧提取内容特征xfea；
9、s6、构建高斯扩散模型,并将s4中的roberta模型、s5中的编码器模型集成到该模型中，用于预测出帧间变化序列；
10、s7、构建总模型m；
11、s8、使用s1中准备好的训练数据集训练s7中的总模型m：
12、s9、将生成的帧间变化序列与初始帧信息进行融合得到生成的视频序列
13、s10、将真实的视频序列s＝{x1,x2,…,xt}与生成的视频帧序列对比，计算损失，同时以一定比例将s8中的噪声损失与生成视频序列的重构损失相加得到综合损失，随后利用反向传播算法训练总模型m；
14、s11、在模型训练完成之后，向总模型m输入初始图像x0，文本控制信息c以及时间步t，从而得到由高斯扩散模型生成的帧间变化序列将其加在初始输入图像x0上，即可得预测的雷达回波视频序列
15、进一步地，步骤s1具体为：
16、从雷达回波视频数据库中获取视频序列数据集，数据集包括sevir数据集和hko-7数据集，训练网络时先以其中一个数据集为唯一数据集提取一定数量的视频帧序列作为输入，后续的视频帧为对应的参考结果，随后再以另一个数据集作为唯一数据集进行相同操作。
17、进一步地，步骤s2具体为：
18、s21、裁剪：原来的训练样本随机剪切出640*640像素的视频序列，公式表示为：x＝freduce(x)+fcrop(x)，其中freduce表示根据指定区域删除区域外部的像素信息；fcrop表示对图片中有灰度值信息的地方求最小外接矩形，然后将图片裁剪成这个矩形的大小。
19、s22、hsl调整：对裁剪后样本的色度(hue)、饱和度(saturation)和亮度(lightness)乘以一个随机值δ∈[1.0,1.2]，以模拟自然环境的光照变化。
20、s23、随后将视频序列数据集划分为训练集和测试集。
21、进一步地，步骤s3具体为：
22、利用unet-2d网络结构，将其中的2d卷积替换成3d卷积，将原来的3x3卷积，替换为1x3x3卷积，其中第一个维度对应视频帧，即时间维度，第二个和第三个维度对应帧高和帧宽，即空间维度，使其适用于视频数据，构建扩散模型的去噪模块；模型主要涉及3d卷积层conv3d(cin,cout,k,s,p)，激活层relu，池化层maxpooling3d(2,2)，上采样层upsample3d(2)，其中cin是输入通道数，cout是输出通道数，k是卷积核大小，s是步幅，p是填充。此外还有一些跳变链接层
23、进一步地，步骤s4具体为：
24、构建多个transformer编码器块，每个编码器块包含多个自注意力层和前馈神经网络层，输入单词序列，经过多层transformer编码器处理，输出包含每个位置的单词表示；
25、自注意力的计算公式为：其中q表示查询，k表示键，v表示值，dk表示向量的维度，用于缩放点积。
26、将自注意力分割成多个头，每个注意力头侧重学习不同方面的特征，分割后的多头注意力可表示为：
27、multihead(q,k,v)＝concat(head1,…,headh)wo，其中h表示注意力头的数量，wo是可训练的输出权重矩阵。
28、进一步地，步骤s7具体为：
29、在该模型中实例化s3中的unet3d以及s6中的高斯扩散模型，建立输入输出及损失函数，并将预测的帧间变化序列于初始输入图片结合，得到生成的视频序列。
30、进一步地，步骤s8具体为：
31、从输入视频序列提取t帧连续的视频图像序列x＝{x1,x2,…,xt}，利用背景差分法得到背景建模得到背景信息z，利用帧间差分法计算相邻帧的帧间差序列r，将背景建模结果和帧间差信息进行融合，得到帧间变化序列d＝{d1,d2,…,dt-1}，采用的融合方式为：
32、
33、将视频图像序列x、帧间变化序列d、文本控制信息c、时间步t输入s7中构建的总模型m以生成帧间变化序列同时将s5中生成的内容特征图x0、帧间变化序列d以及文本控制信息c输入到高斯扩散模型以获取预测噪声的损失，并生成预测的帧间变化序列
34、进一步地，步骤s10具体为：
35、训练时涉及的混合损失函数分别为：
36、生成图序列重构损失函数：
37、
38、预测噪声损失函数：
39、结构相似性损失函数：其中μx和分别是x和的平均值，和分别是x和的协方差，c1和c2是用于稳定性的常数。
40、对以上损失函数进行加权混合，获得混合损失：
41、lmixed＝αlpixel+βlpixel+γlssim，α、β和γ分别是各个函数的权重，实验时可以对这些超参数进行调整，以便达到较好的实验效果。
42、一种雷达回波气象数据仿真预测生成装置，包括获取模块和预测模块，其中，获取模块用于从数据库中获取视频序列数据集，预测模块，用于生成预测上述方法。
43、一种电子设备，包括存储器和处理器，存储器和处理器之间通过通信总线连接，通信总线通过通信接口连接外部设备。该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述方法。
44、所述处理器可以为微处理器，所述存储器可以包括内存，如可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory)等。当然，所述电子设备还可以根据需要设置其他硬件。
45、一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行上述方法。
46、相对于现有技术，本技术具有如下有益效果：
47、1、本发明提出了一种雷达回波气象数据仿真预测生成方法、装置、电子设备及存储介质。已有的统计预报方法缺乏物理基础，预报精度不高，数值模式的方法虽然可以进行中长期大尺度的降雨范围及趋势预测，但因其时间和空间分辨率相对于中小尺度强对流天气系统偏低，难以准确捕获较短时间内的强对流发生及发展情况，目前相对成熟的外推方法如交叉相关法和光流法，不具备历史学习能力，参数设置较为困难。我们所提出的雷达回波气象数据仿真预测生成模型能够根据语义信息和观测数据直接生成相邻帧之间的帧间变化信息，随后将该帧间变化信息直接与源图像上进行融合即可获得生成的雷达回波视频，模型充分利用了雷达回波数据的时空特征，提高了生成的准确性和效率。
48、2、本发明引入roberta模型作为语义信息处理模型，进一步增强模型对于文本信息中所包含特征信息的感知能力。roberta模型作为成熟且应用广泛的预训练模型，用来处理语言能够更好地关注到隐藏在各个单词之中的特征以及句子本身所隐含的信息，并将该特征提取出来作为模型预测的语义控制信息。roberta模型的应用使得生成的视频帧更加贴合语言所表达的意思，进一步提高了视频推理生成的准确性和效果。
49、3、本发明通过引入roberta模型和扩散机制来实现帧间变化序列的预测，从而进行视频序列的生成，不仅实现了对语义信息的全面分析和准确提取，还确保了快速便捷地生成视频帧。这种方法不仅提高了视频生成的准确性和稳定性，还能够更好地理解语言中隐含的特征信息，提高模型的可解释性。本发明在雷达气象预测及短时降雨分析领域具有重要的应用价值和广阔的发展前景。
1.一种雷达回波气象数据仿真预测生成方法，其特征在于，包括以下步骤：
2.一种雷达回波气象数据仿真预测生成装置，其特征在于，包括获取模块(10)和预测模块(20)，其中，获取模块(10)用于从数据库中获取视频序列数据集，预测模块(20)，用于生成权利要求1所述的雷达回波气象数据仿真预测生成方法。
3.一种电子设备，其特征在于，包括存储器(730)和处理器(710)，存储器(730)和处理器(710)之间通过通信总线(740)连接，通信总线(740)通过通信接口(720)连接外部设备。该存储器(730)中存储有计算机程序，该处理器(710)被设置为运行计算机程序以执行权利要求1所述的方法。
4.一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行权利要求1所述的雷达回波气象数据仿真预测生成方法。
