本发明涉及gnss反射信号遥感,特别是涉及一种基于多线程技术的gnss-r卫星星座遥感数据处理方法、一种基于多线程技术的gnss-r卫星星座遥感数据处理装置、一种电子设备和一种计算机可读存储介质。
背景技术:
1、gnss-r技术,即全球卫星导航系统反射信号技术,自20世纪90年代起崭露头角,已成为海面、陆面、冰面等多元物理参数探测的重要工具。该技术利用现有的gnss信号源进行探测,无需额外发射机,接收机重量轻、功耗小、成本低,非常适用于通过留轨末子级集群及微纳卫星平台构建星座组网探测系统。此外,gnss-r技术的信号源丰富且免费,包括我国的北斗系统、美国的gps(global positioning system,全球定位系统)系统、欧洲的galileo系统、俄罗斯的glonass(global navigation satellite system,全球卫星导航系统)系统以及日本的qzss(quasi-zenith satellite system,准天顶卫星系统)和印度的irnss(indian regional navigation satellite system,印度区域导航卫星系统)系统等,总计超过150颗导航卫星均可作为信号发射源。因此,gnss-r技术提供了一种高时空分辨率对地观测新体制。
2、近年来,随着gnss-r接收机技术及产品反演算法的逐渐成熟,已经形成基于微纳卫星平台的多gnss系统兼容的gnss-r大规模组网星座,基于留轨末子级集群的gnss-r探测网相关技术正快速发展。
3、随着多gnss系统gnss-r大规模卫星星座的迅猛发展,其产生的数据量也急剧增长。现有的单gnss系统单星gnss-r数据处理模式以单gnss系统单颗卫星数据为处理对象,当面对跨越多个gnss系统的大规模组网数据时,这种模式缺乏系统级的全局视野,无法有效地协调和优化计算资源的使用。因此,在处理效率上显得力不从心,难以满足如数值天气预报等高精度业务对数据处理时效性的严苛要求。为了克服这一局限性,需要探索更先进的数据处理架构和方法,以提升处理效率并满足业务的高时效标准。特别是考虑到新卫星的入网和旧卫星的退役,gnss-r卫星星座的规模和可用的gnss卫星信号源数量都在动态调整中。因此,如何快速高效地整合处理这些多gnss系统兼容的gnss-r大规模组网数据,同时适应卫星星座数据规模的灵活变化,已成为一项亟待解决的重大挑战。
技术实现思路
1、鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于多线程技术的gnss-r卫星星座遥感数据处理方法、一种基于多线程技术的gnss-r卫星星座遥感数据处理装置、一种电子设备和一种计算机可读存储介质。
2、本发明实施例公开了一种基于多线程技术的gnss-r卫星星座遥感数据处理方法,所述方法包括:
3、获取gnss-r卫星星座中所有卫星的原始数据文件;
4、基于所有卫星的数量确定需要调度的线程的第一数量,并调度所述第一数量的计算机线程对所述原始数据文件进行排序、去重等处理,得到每颗卫星各自对应的第一数据文件;
5、基于可用线程总数量和每颗卫星的反射通道数量确定需要为每颗卫星调度的线程的第二数量,并为每颗卫星调度所述第二数量的计算机线程对对应的第一数据文件进行分包解包、定标、观测信息计算等处理,得到每颗卫星各自对应的第二数据文件;
6、调度所述第一数量的计算机线程对各个第二数据文件进行轨道产品反演处理,得到每颗卫星各自对应的第三数据文件;
7、基于所述可用线程总数量和第三数据文件的数量确定需要为每颗卫星调度的线程的第三数量,并为每颗卫星调度所述第三数量的计算机线程对各个第三数据文件进行格网化融合处理,得到目标数据文件。
8、在一个或多个实施例中,所述获取gnss-r卫星星座中所有卫星的原始数据文件,包括:
9、从各个卫星地面站获取所述卫星星座中所有卫星在目标时间段内的原始数据文件;每个所述卫星地面站包括至少一颗卫星的所述原始数据文件。
10、在一个或多个实施例中,所述调度所述第一数量的计算机线程对所述原始数据文件进行排序、去重等处理,得到每颗卫星各自对应的第一数据文件,包括:
11、为所述第一数量的计算机线程分配各颗卫星对应的第二数据文件,以使得每颗卫星对应的计算机线程依据全球导航卫星系统gnss的系统周、周内秒和包序号对每颗卫星对应的原始数据文件进行排序,得到每颗卫星对应的排序后的原始数据文件;
12、每颗卫星对应的计算机线程对每颗卫星对应的排序后的原始数据文件进行去重,得到每颗卫星各自对应的第一数据文件。
13、在一个或多个实施例中,所述第二数量通过如下方式确定:
14、其中,m1为需要为单颗卫星分配的计算机线程数量,n为可用线程总数量,nc为所有卫星的反射通道总数量,为向下取整,kc为单颗卫星的反射通道数量。
15、每颗卫星对应的线程对每颗卫星对应的排序后的第一数据文件进行分包解包、定标、观测信息计算等处理,得到每颗卫星各自对应的第二数据文件。在一个或多个实施例中,所述调度所述第一数量的计算机线程对各个第二数据文件进行轨道产品反演处理,得到每颗卫星各自对应的第三数据文件,包括:
16、为所述第一数量的计算机线程分配各颗卫星对应的第二数据文件,以使得每颗卫星对应的计算机线程对每颗卫星对应的第二数据文件进行轨道产品反演,得到每颗卫星各自对应的反演结果;
17、每颗卫星对应的计算机线程将每颗卫星对应的反演结果按照gnss系统类型进行分类编组后融合,得到每颗卫星各自对应的第三数据文件。
18、在一个或多个实施例中,所述第三数量通过如下方式确定:
19、其中,m2为需要为单颗卫星分配的线程数量,n为可用线程总数量,nf为第三数据文件的总数量,为向下取整,kf为单颗卫星的第三数据文件的数量。
20、在一个或多个实施例中,所述为每颗卫星调度所述第三数量的计算机线程对各个第三数据文件进行格网化融合处理,得到目标数据文件,包括:
21、为每颗卫星调度所述第三数量的计算机线程读取每颗卫星的第三数据文件;
22、将所有卫星的第三数据文件进行整合,得到整合后的数据文件;
23、对所述整合后的数据文件进行格网化融合处理,得到目标数据文件。
24、相应的,本发明实施例公开了一种基于多线程技术的gnss-r卫星星座遥感数据处理装置,所述装置包括:
25、获取模块,用于获取gnss-r卫星星座中所有卫星的原始数据文件;
26、配置模块,用于基于所有卫星的数量配置需要调度的线程的第一数量;
27、调度模块,用于调度所述第一数量的计算机线程对所述原始数据文件进行处理,得到每颗卫星各自对应的第一数据文件;
28、所述配置模块,还用于基于可用线程总数量和每颗卫星的反射通道数量配置需要为每颗卫星调度的线程的第二数量;
29、所述调度模块,还用于为每颗卫星调度所述第二数量的计算机线程对对应的第一数据文件进行分包解包、定标、观测信息计算等处理,得到每颗卫星各自对应的第二数据文件;
30、所述调度模块,还用于调度所述第一数量的计算机线程对各个第二数据文件进行轨道产品反演处理,得到每颗卫星各自对应的第三数据文件;
31、所述配置模块,还用于基于所述可用线程总数量和第三数据文件的数量配置需要为每颗卫星调度的线程的第三数量;
32、所述调度模块,还用于为每颗卫星调度所述第三数量的计算机线程对各个第三数据文件进行格网化融合处理,得到目标数据文件。
33、在一个或多个实施例中,所述获取模块,具体用于:
34、从各个卫星地面站获取所述gnss-r卫星星座中所有卫星在目标时间段内的原始数据文件;每个所述卫星地面站包括至少一颗卫星的所述原始数据文件。
35、在一个或多个实施例中,所述调度模块,具体用于:
36、为所述第一数量的计算机线程分配各颗卫星对应的第二数据文件,以使得每颗卫星对应的计算机线程依据全球导航卫星系统gnss的系统周、周内秒和包序号对每颗卫星对应的原始数据文件进行排序,得到每颗卫星对应的排序后的原始数据文件;
37、每颗卫星对应的计算机线程对每颗卫星对应的排序后的原始数据文件进行去重,得到每颗卫星各自对应的第一数据文件。
38、在一个或多个实施例中,所述配置模块,具体用于:
39、其中,m1为需要为单颗卫星分配的计算机线程数量,n为可用线程总数量,nc为所有卫星的反射通道总数量,为向下取整,kc为单颗卫星的反射通道数量。
40、每颗卫星对应的线程对每颗卫星对应的排序后的第一数据文件进行分包解包、定标、观测信息计算等处理,得到每颗卫星各自对应的第二数据文件。
41、在一个或多个实施例中,所述调度模块,具体还用于:
42、为所述第一数量的计算机线程分配各颗卫星对应的第二数据文件,以使得每颗卫星对应的计算机线程对每颗卫星对应的第二数据文件进行轨道产品反演,得到每颗卫星各自对应的反演结果;
43、每颗卫星对应的计算机线程将每颗卫星对应的反演结果,按照gnss系统类型进行分类编组后融合,得到每颗卫星各自对应的第三数据文件。
44、在一个或多个实施例中,所述配置模块,具体还用于:
45、其中,m2为需要为单颗卫星分配的计算机线程数量,n为可用线程总数量,nf为第三数据文件的总数量,为向下取整,kf为单颗卫星的第三数据文件的数量。
46、在一个或多个实施例中,所述调度模块,具体还用于:
47、为每颗卫星调度所述第三数量的计算机线程读取每颗卫星的第三数据文件;
48、将所有卫星的第三数据文件进行整合,得到整合后的数据文件;
49、对所述整合后的数据文件进行格网化融合处理,得到目标数据文件。
50、相应的,本发明实施例公开了一种电子设备,包括:处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述基于多线程技术的gnss-r卫星星座遥感数据处理方法实施例的各个步骤。
51、相应的,本发明实施例公开了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现上述基于多线程技术的gnss-r卫星星座遥感数据处理方法实施例的各个步骤。
52、本发明实施例包括以下优点:
53、数据处理系统获取gnss-r卫星星座中所有卫星的原始数据文件;基于所有卫星的数量确定需要调度的线程的第一数量,并调度所述第一数量的计算机线程对所述原始数据文件进行排序、去重等处理,得到每颗卫星各自对应的第一数据文件;基于可用线程总数量和每颗卫星的反射通道数量确定需要为每颗卫星调度的线程的第二数量,并为每颗卫星调度所述第二数量的计算机线程对对应的第一数据文件进行分包解包、定标、观测信息计算等处理,得到每颗卫星各自对应的第二数据文件;调度所述第一数量的计算机线程对各个第二数据文件进行轨道产品反演处理,得到每颗卫星各自对应的第三数据文件;基于所述可用线程总数量和第三数据文件的数量确定需要为每颗卫星调度的线程的第三数量,并为每颗卫星调度所述第三数量的计算机线程对各个第三数据文件进行格网化融合处理,得到目标数据文件。通过上述方式,将整个数据处理流程细化为四个阶段,每个阶段具有对应的多线程处理策略,并通过配置参数文件来灵活调整各阶段所需的多线程数量。这样不仅能够提升数据处理的时效性,大幅提升了数据处理的整体效率,还通过配置文件的参数调整,实现处理能力的灵活配置和优化,使得系统能够轻松应对由于新卫星的加入和旧卫星的退役带来的数据处理规模变化,从而确保了处理能力的灵活性和可扩展性,从而更好地满足不同应用场景下的数据处理需求。
1.一种基于多线程技术的gnss-r卫星星座遥感数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于多线程技术的gnss-r卫星星座遥感数据处理方法,其特征在于,所述获取gnss-r卫星星座中所有卫星的原始数据文件,包括:
3.根据权利要求1所述的基于多线程技术的gnss-r卫星星座遥感数据处理方法,其特征在于,所述调度所述第一数量的计算机线程对所述原始数据文件进行排序、去重等处理,得到每颗卫星各自对应的第一数据文件,包括:
4.根据权利要求1所述的基于多线程技术的gnss-r卫星星座遥感数据处理方法,其特征在于,所述第二数量通过如下方式确定:
5.根据权利要求1所述的基于计算机多线程技术的gnss-r遥感数据理方法,其特征在于,所述调度所述第一数量的计算机线程对各个第二数据文件进行轨道产品反演处理,得到每颗卫星各自对应的第三数据文件,包括:
6.根据权利要求1所述的基于多线程技术的gnss-r卫星星座遥感数据处理方法,其特征在于,所述第三数量通过如下方式确定:
7.根据权利要求1所述的基于多线程技术的gnss-r卫星星座遥感数据处理方法,其特征在于,所述为每颗卫星调度所述第三数量的计算机线程对各个第三数据文件进行格网化融合处理,得到目标数据文件,包括:
8.一种基于多线程技术的gnss-r卫星星座遥感数据处理装置,其特征在于,所述装置包括:
9.根据权利要求8所述的基于多线程技术的gnss-r卫星星座遥感数据处理装置,其特征在于,所述获取模块,具体用于:
10.根据权利要求8所述的基于多线程技术的gnss-r卫星星座遥感数据处理装置,所述调度模块,具体用于:
11.根据权利要求8所述的基于多线程技术的gnss-r卫星星座遥感数据处理装置,所述配置模块,具体用于:
12.根据权利要求8所述的基于多线程技术的gnss-r卫星星座遥感数据处理装置,所述调度模块,具体还用于:
13.根据权利要求8所述的基于多线程技术的gnss-r卫星星座遥感数据处理装置,所述配置模块,具体还用于:
14.根据权利要求8所述的基于多线程技术的gnss-r卫星星座遥感数据处理装置,所述调度模块,具体还用于:
15.一种电子设备,其特征在于,包括:处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1~7中任一项所述基于多线程技术的gnss-r卫星星座遥感数据处理方法的步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1~7中任一项所述基于多线程技术的gnss-r卫星星座遥感数据处理方法的步骤。
