(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111544236.8 (22)申请日 2021.12.16 (71)申请人 电子科技大 学 地址 611731 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 梅海波　车畅　梁楚雄　孙小博　 刘子歌　 (74)专利代理 机构 北京天奇智新知识产权代理 有限公司 1 1340 代理人 王大刚 (51)Int.Cl. G06Q 10/04(2012.01) G06N 3/08(2006.01) G06F 30/27(2020.01) G06F 9/445(2018.01) (54)发明名称 面向无人机移动边缘计算场景的路径规划 和任务卸载 方法 (57)摘要 本发明公开了面向无人机移动边缘计算场 景的路径 规划和任务卸载方法， 涉及移动边缘计 算和深度学习领域， 包括S1建立网络场景模型； S2无人机和地面终端信息导入网络场景模型； S3 建立深度强化学习网络并初始化； S4求解最优飞 行时隙； S5初始化无人机移动边缘计算场景状 态； S6执行行为； S7判断飞行是否越界， 若是则惩 罚、 停止飞行并更新状态； S8保存行为、 奖励、 当 前及下一刻状态至样本； S9 重复S6至S8； S10计算 目标值， 更新网络参数； S11重复S4至S10， 获得路 径规划和任务卸载方法； 设计基于深度增强学习 的框架， 实现深度增强学习和凸优化技术在计算 复杂度和计算精度上的权衡与互补， 最小化无人 机能耗和终端任务完成时间， 提升无人机执行地 面终端任务能效。 权利要求书3页 说明书5页 附图2页 CN 114372612 A 2022.04.19 CN 114372612 A 1.面向无人机移动边缘计算场景的路径规划和任务卸载方法， 其特征在于， 包括以下 步骤： S1、 建立无 人机移动边 缘计算的网络场景模型； S2、 收集当前区域内的无 人机和地 面终端信息， 并导入网络场景模型； S3、 建立深度强化学习网络， 初始化初始及目标网络参数； S4、 给定无人机飞行路径和地面终端任务卸载信息， 利用凸优化方法求解无人机最优 飞行时隙； S5、 初始化深度强化学习网络中无 人机移动边 缘计算场景状态； S6、 根据状态和奖励执 行行为； S7、 判断无 人机飞行 是否越界， 若是， 进行惩罚、 停止飞行并更新状态； S8、 保存行为、 奖励、 当前及下一刻状态至样本中； S9、 将步骤S6 至S8重复固定次数； S10、 在S8获得的样本中， 随机 选择小样本计算目标值， 并通过损失函数 更新网络参数； S11、 将步骤S4至S10 重复固定次数， 获得趋 于稳定的路径规划 和任务卸载 方法。 2.根据权利要求1所述的面向无人机移动边缘计算场景的路径规划和任务卸载方法， 其特征在于， 在S1中包括： S11、 在一个无人机被派遣来服务地面终端的三维区域内， 该区域被均匀分为多个单元 格， 第i个单元格的中心的水平坐标为 式中 指所有 单元格的水平中心的横坐标集合， xs和ys指两个相邻的单元格x及y方向的水平距离； 指无人机在第n时隙的水平 位置， 式中 其中N指代所有时隙； 设置 和 为事先设定的无人机起飞和降落水平中心； 指代无人机在 第n时隙的垂直位置； 空间坐标 和时隙持续时长 表征无人机的路径规 划； S12、 根据无人机水平飞行速度 恒定的叶翼功率P0、 悬停诱导功率P1、 恒定的下降或 上升功率P2、 动叶叶翼速度Utip、 悬停时平均旋翼诱导速度 υ0、 机身阻力比d0、 转子固体度 s、 空气密度ρ 和转子盘面积G， 计算旋翼无 人机的推进能量 为 S13、 根据地面终端 k的上传功率Pk、 被分配的通信带宽B、 加性高斯白噪声的功率谱密度 N0， 计算第k个地面终端在第n时隙的最大上行速率rkn为 式 中lkn指通信链路损失， 由表达式 确定， 式权　利　要　求　书 1/3 页 2 CN 114372612 A 2中A和C为常数， dkn和pkn分别指在第n时隙第k个任务的数据处 理量和视距连接概 率； S14、 通过地面终端的CPU处理速率fg、 无人机处理速率fu、 需要计算的CPU周期总数Fk、 需要处理的数据总数Dk、 第n个时隙中被用于做数据传输的时间窗口的比例 αn及任务卸载指 示akn， 计算第n时隙k任务的数据处 理量 3.根据权利要求2所述的面向无人机移动边缘计算场景的路径规划和任务卸载方法， 其特征在于， 在S2 中， 收集当前区域内的无人机L、 H和地面终端A信息， 导入网络场景模型； 其中 指示无人机水平位置集合， 指示无人机垂直位置 集合， 指示任务卸载 方案。 4.根据权利要求3所述的面向无人机移动边缘计算场景的路径规划和任务卸载方法， 其特征在于， 在S3中， 建立基于深度 强化学习的神经网络； 初始化经验重现缓存F、 时隙数N 和无人机在每个时隙的飞行时间 初始化最初深度强化学习Q网络的参数θQ和目标网络 参数Q′(·)， 使得θQ′＝θQ。 5.根据权利要求4所述的面向无人机移动边缘计算场景的路径规划和任务卸载方法， 其特征在于， 在S4中， 给定上一次网络训练中获得的无人机三 维空间内L、 H和地面 终端任务 A信息， 利用凸优化方法求 解无人机最优飞行时隙τ， 具体求 解凸优化问题及约束为 6.根据权利要求5所述的面向无人机移动边缘计算场景的路径规划和任务卸载方法， 其特征在于， 在S5中， 初始化无 人机移动边 缘计算场景至状态s(1)。 7.根据权利要求6所述的面向无人机移动边缘计算场景的路径规划和任务卸载方法， 其特征在于， 在S6中， 随机选择概率为∈的行为a∈A(s(n))进行执行， 否则按照a(n)＝π(s (n))选择行为， π(s(n))指代在状态s(n)时的策略选 择； 为状态s(n+1)和奖励 r(s(n)， a(n)) 执行行为a(n)。 8.根据权利要求7所述的面向无人机移动边缘计算场景的路径规划和任务卸载方法， 其特征在于， 在S7中， 如果无人机飞行超出边界， 那么奖励r(s(n)， a(n))＝r(s(n)， a(n)) ‑权　利　要　求　书 2/3 页 3 CN 114372612 A 3