本发明属于无线通信和移动边缘计算，具体涉及一种多低轨卫星合作的多用户移动边缘计算卸载方法。
背景技术：
1、近年来移动通信发展迅速，第五代移动通信(5-th generation mobilecommunication，5g)已经投入商用，第六代移动通信(6-th generation mobilecommunication，6g)也在迅速发展。在这种情况下，用户数量迅速增长，所需要处理的任务量也飞速的上升。同时6g追求的是全面覆盖，但目前基于基站的地面网络所能覆盖的区域仅为陆地面积的五分之一左右，对于一些偏远荒芜或者恶劣环境影响下的地区很难去使用地面网络来进行通信。
2、另一方面，随着物联网的不断发展，在各种智能设备上产生了许多延迟敏感、计算密集的应用，例如vr(虚拟现实)、ar(增强现实)、各式各样的游戏，这些应用要求很强的计算能力，如果仅依靠地面终端设备(ground terminal equipment，gte)本身的计算能力很难去满足用户低时延、高稳定性的需求。
3、基于这些原因，移动边缘计算(mobile edge computing，mec)思想应运而生并产生了很大的影响，移动边缘技术的核心思想是把云的功能扩展到网络边缘，这样可以更加的接近物联网设备，更好的降低时延并减少数据的流失，为用户提供更好的服务。低地球轨道(low earth orbit，leo)卫星覆盖面积广、计算资源丰富、组网灵活，移动边缘计算服务器具有更丰富的计算资源。将搭载了移动边缘计算服务器的低轨卫星与地面网络相结合，地面终端设备所产生的任务可以卸载到处于边缘的低轨卫星上进行计算，大大的降低任务执行的延迟，满足不同位置、多种恶劣情况下的通信需求。可以更好的实现空、天、地一体化通信网络，更好的实现万物互联。
4、低轨卫星移动边缘计算是近年来的热门研究方向，研究人员从各个方面对leo卫星移动边缘计算进行了深入的研究，国内和国外都出现了很多优秀的成果，但这些研究依旧会有一些不足的存在：
5、1)在一些研究中只考虑了单个低轨卫星接收单个地面终端设备卸载任务进行计算的情况，没有考虑到多个地面终端设备同时进行任务卸载的情况；
6、2)一些研究只考虑了一个地面终端设备将任务卸载到多个低轨卫星或者地面基站的情况，但并没有考虑到多颗低轨卫星之间的合作；
7、3)一些研究考虑了多个地面终端设备卸载到同一个低轨卫星的情况，但没有考虑到低轨卫星的诸如移动性等一些基础的卫星特性。
技术实现思路
1、为了解决以上存在的技术问题，本发明提出了一种多低轨卫星合作的多用户移动边缘计算卸载方法，同时考虑多用户和多低轨卫星合作问题，并考虑低轨卫星移动的基础特性，具体步骤包括：
2、s1.构建多低轨卫星移动边缘计算系统模型，其包括多颗leo卫星和多个gte。
3、s2.根据多低轨卫星移动边缘计算系统模型建立移动模型、本地计算时间模型、边缘计算时间模型。
4、s3.根据移动模型、本地计算时间模型、边缘计算时间模型构建最小化系统整体时延的优化问题。
5、s4.根据优化问题建立马尔可夫决策过程，确定状态空间、动作空间、奖励函数。
6、s5.基于马尔可夫决策过程对优化问题采用训练好的深度确定性策略梯度(deepdeterministic policy gradient，ddpg)算法进行优化求解，得到任务的最优卸载决策。
7、进一步的，多低轨卫星移动边缘计算系统模型具体包括：j颗相互通信的leo卫星，每一颗leo卫星上均布置有mec服务器；每一颗leo卫星都覆盖一个独立的区域，且区域内包括多个gte；每一gte只能与其所属区域对应的leo卫星进行通信，属于同一区域的多个gte可同时与该区域对应的leo卫星通信；执行任务卸载时，将卸载整体时间划分为多个时隙，每一时隙长度为δt。
8、进一步的，leo卫星在自身运行轨道上一直移动，leo卫星与gte间的距离也在不断变化；每一个时隙以自身开始时刻对应的星地距离作为整个时隙内的星地距离，建立gte与leo卫星的移动模型，表达式为：
9、
10、其中，sk,j(i)表示在第i个时隙内，第j颗leo卫星与其覆盖区域内第k个gte的距离；γk,j(i)表示在第i个时隙内，ζk,j(i)所对应的地心夹角；ζk,j(i)表示在第i个时隙内，第j颗leo卫星与其覆盖区域内第k个gte的连线和第k个gte水平线的夹角；r表示地球半径，hj表示第j颗leo卫星所在轨道与地球表面的距离；ωj表示第j颗leo卫星的角速度；i＝1,2,…,i，j＝1,2,…,j，k＝1,2,…,k，i表示时隙数量，j表示leo卫星数量，k表示leo卫星覆盖区域内的gte数量。
11、进一步的，本地计算时间模型表示为：
12、tlocal(i)＝max{t1local(i),t2local(i),...,tklocal(i),...,tklocal(i)}
13、
14、其中，tlocal(i)表示在第i个时隙内，第j颗leo卫星对应的最大gte本地计算时间；tklocal(i)表示在第i个时隙内，第j颗leo卫星覆盖区域内第k个gte处理剩余任务的计算时间；αj(i)表示在第i个时隙内，第j颗leo卫星覆盖区域内gte的任务卸载率，属于同一区域的所有gte在同一时隙的任务卸载率相同；dk(i)表示在第i个时隙内，第j颗leo卫星覆盖区域内第k个gte产生的任务量；表示gte进行本地计算的cpu计算频率，γ表示计算单位byte(字节)任务所需的cpu周期；i＝1,2,…,i，j＝1,2,…,j，k＝1,2,…,k，i表示时隙数量，j表示leo卫星数量，k表示leo卫星覆盖区域内的gte数量。
15、进一步的，边缘计算时间模型包括leo卫星进行星间卸载和leo卫星不进行星间卸载两种方式：
16、进一步的，当第j颗leo卫星卸载计算任务到l颗leo卫星进行计算所需要的时间大于等于此计算任务在第j颗leo卫星进行计算的时间时，不需要进行星间卸载；反之则进行星间卸载；
17、其中，计算任务到l颗leo卫星进行计算所需要的时间为第j颗leo卫星与第n颗leo卫星之间的传输时间与计算时间和；第n颗leo卫星为j-1颗leo卫星中与第j颗leo卫星之间卸载率最高的leo卫星。
18、当leo卫星不进行星间卸载时，边缘计算时间表示为：
19、tedge(i)＝ttr(i)+tjedge(i)
20、ttr(i)＝min{ttr(1,j)(i),ttr(2,j)(i),...,ttr(k,j)(i),...,ttr(k,j)(i)}
21、
22、其中，tedge(i)表示在第i个时隙内的边缘计算时间，ttr(i)表示在第i个时隙内，第j颗leo卫星对应的最小上行传输时间，tjedge(i)表示在第i个时隙内，第j颗leo卫星处理计算任务的计算时间，ttr(k,j)(i)表示在第i个时隙内，第j颗leo卫星覆盖区域内第k个gte上传卸载任务的传输时间；αj(i)表示在第i个时隙内，第j颗leo卫星覆盖区域内gte的任务卸载率，属于同一区域的所有gte在同一时隙的任务卸载率相同；dk(i)表示在第i个时隙内，第j颗leo卫星覆盖区域内第k个gte产生的任务量；rk,j(i)表示在第i个时隙内，第j颗leo卫星与其覆盖区域内第k个gte的上行传输速率；表示leo卫星进行边缘计算的cpu计算频率；γ表示计算单位byte任务所需的cpu周期；i＝1,2,…,i，j＝1,2,…,j，k＝1,2,…,k，i表示时隙数量，j表示leo卫星数量，k表示leo卫星覆盖区域内的gte数量。
23、当leo卫星进行星间卸载时，边缘计算时间表示为：
24、tedge(i)＝max{tlocalwx(i),tcompwx(i)+ttrwx(i)}+ttr(i)
25、
26、其中，tedge(i)表示在第i个时隙内的边缘计算时间，tlocalwx(i)表示在第i个时隙内，第j颗leo卫星处理剩余任务的计算时间；tcompwx(i)表示在第i个时隙内，l颗leo卫星中处理卸载任务的最大计算时间，l＝1,2,…,j-1；ttrwx(i)表示在第i个时隙内，第j颗leo卫星上传卸载任务到l颗leo卫星中最大传输时间；dj(i)＝αj(i)(d1(i)+d2(i)+...+dk(i)+...+dk(i))表示在第i个时隙内，第j颗leo卫星覆盖区域内k个gte上传卸载任务的和；βj,l(i)表示在第i个时隙内，第j颗leo卫星与第l颗leo卫星的任务卸载率；βj(i)表示在第i个时隙内，第j颗leo卫星与j-1颗leo卫星之间的最大任务卸载率，βj(i)＝max{βj,1(i),βj,2(i),...,βj,j-1(i)}；rj(i)表示在第i个时隙内，第j颗leo卫星与第l颗leo卫星之间上行传输速率，在同一时隙内，第j颗leo卫星与每颗leo卫星之间上行传输速率相同。
27、进一步的，在第i个时隙内，第j颗leo卫星与其覆盖区域内第k个gte的上行传输速率rk,j(i)：
28、
29、κk,j(i)表示在第i个时隙内，第j颗leo卫星分配给其覆盖区域内第k个gte的带宽比例；b表示上行传输链路的总带宽，表示上行传输链路中第j颗leo卫星覆盖区域内第k个gte的发射功率；fk(i)∈{0,1}表示在第i个时隙内，上行传输链路卸载过程中第j颗leo卫星覆盖区域内第k个gte的信号是否有遮挡，其中0表示没有遮挡情况，1表示有遮挡情况；plos表示传输损耗，σ2表示噪声功率；gk,j(i)表示在第i个时隙内，第j颗leo卫星与其覆盖区域内第k个gte之间的信道增益，表达式为：
30、
31、其中，ψk,j表示第j颗leo卫星与其覆盖区域内第k个gte之间距离为1m时的信道增益；sk,j(i)表示在第i个时隙内，第j颗leo卫星与其覆盖区域内第k个gte的距离。
32、进一步的，根据移动模型、本地计算时间模型、边缘计算时间模型构建最小化系统整体时延的优化问题，优化问题表示为：
33、
34、其中，优化问题表示一颗leo卫星所覆盖区域内的最小系统整体时延问题，max{tedge(i),tlocal(i)}表示在第i个时隙的系统整体时延，tedge(i)表示在第i个时隙内的边缘计算时间，tlocal(i)表示在第i个时隙内的本地计算时间；αj(i)表示在第i个时隙内，第j颗leo卫星覆盖区域内gte的任务卸载率，c1表示任意一台gte向leo卫星卸载的任务量不能超过其在此时隙内产生的最大任务量；κk,j(i)表示在第i个时隙内，第j颗leo卫星分配给其覆盖区域内第k个gte的带宽比例，k表示leo卫星覆盖区域内的gte数量，c2表示k个gte向同一个leo卫星卸载任务时分配的带宽之和不能超过此leo卫星分配的最大带宽；βj,l(i)表示在第i个时隙内，第j颗leo卫星与第l颗leo卫星之间的任务卸载率，c3表示第j颗leo卫星向其他l颗leo卫星进行卸载的任务量之和不能超过第j颗leo卫星接收的最大任务量；fk(i)表示在第i个时隙内，上行传输链路卸载过程中第j颗leo覆盖区域内第k个gte的信号是否有遮挡，c4表示第k个gte在第i个时隙的遮挡情况；fjedge(i)表示在第i个时隙内，第j颗leo卫星消耗的计算资源，fledge(i)表示在第i个时隙内，第l颗leo卫星消耗的计算资源,fa表示每颗leo卫星的总资源，c5表示每颗leo卫星消耗的计算资源不能超过该leo卫星的总资源；dk(i)表示在第i个时隙内，第j颗leo卫星覆盖区域内第k个gte产生的任务量，d表示总任务量，c6表示在所有时隙内k个gte生成的总任务量；i＝1,2,…,i，j＝1,2,…,j，k＝1,2,…,k，l＝1,2,…,j-1，i表示时隙数量，j表示leo卫星数量，k表示leo卫星覆盖区域内的gte数量。
35、进一步的，当第j颗leo卫星在第i个时隙内不进行星间卸载时，第j颗leo卫星消耗的计算资源fjedge(i)的计算公式表示为：
36、fjedge(i)＝αj(i)dj(i)γ
37、当第j颗leo卫星在第i个时隙内进行星间卸载时，第j颗leo卫星消耗的计算资源fjedge(i)表示为：
38、
39、在第i个时隙内，第l颗leo卫星消耗的计算资源fledge(i)计算公式表示为：
40、fledge(i)＝βj,l(i)dj(i)γ。
41、进一步的，状态空间由一颗leo卫星覆盖区域内的k台地面终端设备、j颗卫星以及它们的环境共同确定组成，在第i个时隙的系统状态空间表示为：
42、si＝(f1(i),...fj(i),...,fj(i),t(i),da(i),d1(i),...,dk(i),...,dk(i),b1(i),...,bk(i),...,bk(i))
43、其中，fj(i)在第i个时隙内，第j颗leo卫星的剩余计算资源，t(i)表示在第i个时隙内规定卸载整体时间的剩余时间，da(i)表示在第i个时隙内规定总任务量的剩余任务量，dk(i)表示在第i个时隙内，第j颗leo卫星覆盖区域内第k个gte随机生成的任务量，bk(i)表示在第i个时隙内，第j颗leo卫星覆盖区域内第k个gte在是否存在信号遮挡情况；i＝1,2,…,i，j＝1,2,…,j，k＝1,2,…,k，i表示时隙数量，j表示leo卫星数量，k表示leo卫星覆盖区域内的gte数量。
44、根据系统的当前状态和观察到的环境，智能体选择在第i个时隙处的动作：
45、ai＝([k1(i),k2(i),...,kn(i)],αj(i))
46、其中，[k1(i),k2(i),...,kn(i)]表示随机选择的n个gte，n个gte用于产生随机任务量；αj(i)表示在第i个时隙内，第j颗leo卫星覆盖区域内gte的任务卸载率。
47、奖励函数设置为：
48、ri＝r(si,ai)＝-τdelay(i)
49、其中，τdelay(i)为系统整体时延max{tedge(i),tlocal(i)}，tedge(i)表示在第i个时隙内的边缘计算时间，tlocal(i)表示在第i个时隙内的本地计算时间。
50、本发明的优点及有益效果：
51、考虑到leo卫星的移动性和资源限制等因素，以及计算卸载问题的连续动作空间等特征，针对多颗leo卫星的联合卸载，将计算卸载问题转化为马尔可夫决策问题，应用深度确定性策略梯度，提出一种多低轨卫星合作的多用户移动边缘计算卸载方法，以分时隙的方式进行卸载任务，对gte与leo卫星以及leo卫星之间的卸载时机进行详细判断，在服务多个gte的情况下对系统的整体时延进行优化。仿真结果表明，该策略可以有效的降低系统时延，与其他策略相比，在总任务量1-10m下的平均时延分别减少59.96％、24.17％和16.04％。
1.一种多低轨卫星合作的多用户移动边缘计算卸载方法，其特征在于，具体步骤包括如下：
2.根据权利要求1所述的一种多低轨卫星合作的多用户移动边缘计算卸载方法，其特征在于，多低轨卫星移动边缘计算系统模型具体包括：包括j颗相互通信的leo卫星，每一颗leo卫星上均布置有mec服务器；每一颗leo卫星都覆盖一个独立的区域，且区域内包括多个gte；每一gte只能与其所属区域对应的leo卫星进行通信，属于同一区域的多个gte可同时与该区域对应的leo卫星通信；执行任务卸载时，将卸载整体时间划分为多个时隙，每一时隙长度为δt。
3.根据权利要求1所述的一种多低轨卫星合作的多用户移动边缘计算卸载方法，其特征在于，leo卫星在自身运行轨道上一直移动，leo卫星与gte间的距离也在不断变化；每一个时隙以自身开始时刻对应的星地距离作为整个时隙内的星地距离，建立gte与leo卫星的移动模型，表达式为：
4.根据权利要求1所述的一种多低轨卫星合作的多用户移动边缘计算卸载方法，其特征在于，所述本地计算时间模型表示为：
5.根据权利要求1所述的一种多低轨卫星合作的多用户移动边缘计算卸载方法，其特征在于，所述边缘计算时间模型包括leo卫星进行星间卸载和leo卫星不进行星间卸载两种方式，其中：
6.根据权利要求5所述的一种多低轨卫星合作的多用户移动边缘计算卸载方法，其特征在于，在第i个时隙内，第j颗leo卫星与其覆盖区域内第k个gte的上行传输速率rk,j(i)：
7.根据权利要求1所述的一种多低轨卫星合作的多用户移动边缘计算卸载方法，其特征在于，根据移动模型、本地计算时间模型、边缘计算时间模型构建最小化系统整体时延的优化问题，优化问题表示为：
8.根据权利要求7所述的一种多低轨卫星合作的多用户移动边缘计算卸载方法，其特征在于，当第j颗leo卫星在第i个时隙内不进行星间卸载时，第j颗leo卫星消耗的计算资源fjedge(i)的计算公式表示为：
9.根据权利要求1所述的一种多低轨卫星合作的多用户移动边缘计算卸载方法，其特征在于，状态空间由k台地面终端设备、j颗leo卫星以及它们的环境共同确定组成，在第i个时隙的系统状态空间表示为：
