(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210856656.8 (22)申请日 2022.07.21 (71)申请人 联通沃音乐文化有限公司 地址 510300 广东省广州市黄埔区(中新广 州知识城)亿创街1号 406房之283 申请人 联通在线信息科技有限公司 (72)发明人 吴伟华　林金怡　李韩　邹西山　 庞文刚　文其瑞　 (74)专利代理 机构 广州新诺专利商标事务所有 限公司 4 4100 专利代理师 吴泽燊 (51)Int.Cl. G06F 9/48(2006.01) G06F 16/25(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于深度学习算法的ETL调度方法及装置 (57)摘要 本发明公开了一种基于深度学习算法的ETL 调度方法及装置， 该方法包括： 获取包括有多个 待调度ETL任务的待调度任务组； 确定每一所述 待调度ETL任务的任务执行参数； 将所有所述待 调度ETL任务的所述任务执行参数输入至训练好 的调度预测模 型中， 以预测得到所述待调度任务 组的任务调度参数； 所述调度预测模 型根据包括 有多个历史任务的任务执行参数和对应的任务 调度参数的训练数据集训练得到； 根据所述任务 调度参数， 对 所述待调度任务组中的所述多个待 调度ETL任务进行调度执行。 可见， 本发明能够实 现无需人工干涉的智能调度， 可以确定出合理的 调度参数， 从而有效提高ET L任务调度的效率， 降 低调度成本 。 权利要求书2页 说明书16页 附图2页 CN 114936085 A 2022.08.23 CN 114936085 A 1.一种基于深度学习算法的ETL调度方法， 其特 征在于， 所述方法包括： 获取包括有 多个待调度ETL任务的待调度任务组； 确定每一所述待调度ETL任务的任务执 行参数； 将所有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中， 以 预测得到所述待调 度任务组的任务调度参数； 所述调度预测模型根据包括有多个历史任务 的任务执 行参数和对应的任务调度参数的训练数据集训练得到； 根据所述任务调度参数， 对所述待调度任务组中的所述多个待调度ETL任务进行调度 执行。 2.根据权利要求1所述的基于深度学习算法的ETL调度方法， 其特征在于， 所述任务执 行参数包括任务类型、 任务执行时的处理器占用率、 任务执行时的储存器占用率、 任务执行 时的接口占用率和任务的预计运行时长中的至少一种。 3.根据权利要求1所述的基于深度学习算法的ETL调度方法， 其特征在于， 所述任务调 度参数包括调度任务类型和调度任务线程数量的至少一种。 4.根据权利要求1所述的基于深度学习算法的ETL调度方法， 其特征在于， 在所述将所 有所述待调度ETL任务的所述任务执行参数输入至训练好的调度预测模型中， 以预测得到 所述待调度任务组的任务调度参数之前， 所述方法还 包括： 根据小波变换算法， 对所述任务执 行参数进行 数据去噪处 理； 和/或， 对所述任务执 行参数进行归一 化数据处 理； 以及， 所述历史任务的任务执行参数用于训练所述调度 预测模型之前进行了所述数据 去噪处理和/或所述归一 化数据处 理。 5.根据权利要求4所述的基于深度学习算法的ETL调度方法， 其特征在于， 所述调度预 测模型为 LTSM网络算法模型， 以及所述调度预测模型根据以下步骤训练得到： 收集整理得到包括有多个历史任务执行参数和对应的历史任务调度参数的训练数据 集； 对所述训练数据集中的所述历史任务执行参数进行所述数据去噪处理和所述归一化 数据处理； 构建一个包括256个神经元的LSTM网络算法模型， 将优化函数设为Adam函数， 梯度 值设 为1， 初始学习 率为0.005， 并根据所述训练数据集进行100个轮的训练， 之后再通过乘以因 子0.2来降低学习率； 在训练中对所述LSTM网络算法模型的调节参数进行调节； 所述调节参数包括批量大 小、 窗口大小、 节点数量、 学习率和训练步长中的至少一种； 根据均方根误差， 在训练中对所述LSTM网络算法模型进行模型评估， 直至评估结果显 示所述LSTM网络算法模型达 到收敛， 得到训练好的所述调度预测模型。 6.根据权利要求1所述的基于深度学习算法的ETL调度方法， 其特征在于， 所述根据所 述任务调度参数， 对所述待调度任务组中的所述多个待调度ETL任务进行调度执 行， 包括： 将所述任务调度参数输入至动态规划模型中， 以测算得到所述待调度任务组对应的任 务具体调度策略； 所述任务具体调 度策略用于指示符合所述任务调 度参数的所述多个待调 度ETL任务中的每一ETL任务的执 行次序；权　利　要　求　书 1/2 页 2 CN 114936085 A 2根据所述任务具体调度策略， 对所述待调度任务组中的所述多个待调度ETL任务进行 调度执行。 7.根据权利要求6所述的基于深度学习算法的ETL调度方法， 其特征在于， 所述动态规 划模型为蚁群算法、 人工免疫算法或粒子群算法； 所述将所述任务调度参数输入至动态规 划模型中， 以测算得到所述待调度任务组对应的任务具体调度策略， 包括： 根据所述任务调度参数， 从所述多个待调度ETL任务确定出符合所述任务调度参数的 多个候选 ETL任务； 确定不同类型的所述候选ETL任务对应的任务执行设备、 任务资源成本和任务时间成 本； 确定目标函数为任务执行方案的执行成本达到最小； 所述执行成本为所述任务执行方 案执行时的总资源成本和总时间成本之和； 所述任务执行方案为所述多个候选ETL任务依 照一定的执 行次序所 形成的执 行方案； 确定约束条件为所述任务执行方案 中的多个候选ETL任务的执行次序能够满足所有对 应的所述任务执行设备的启动顺序条件； 所述启动顺序条件用于限定任一所述任务执行设 备能否在任一 其他所述任务执 行设备之前或之后启动； 根据所述目标函数和所述约束条件， 基于所述动态规划模型， 演算出所述多个候选ETL 任务对应的最优 任务执行方案； 将所述最优任务执行方案确定为所述待调度任务组对应的任务具体调度策略。 8.根据权利要求6所述的基于深度学习算法的ETL调度方法， 其特征在于， 在所述根据 所述任务具体调度策略， 对所述待调度任务组中的所述多个待调度ETL任务进行调度执行 之后， 所述方法还 包括： 实时收集对所述待调度任务组中的所述多个待调度ETL任务进行调度 执行时的任务执 行参数， 得到策略执 行时的任务执 行参数； 根据所述策略执行时的任务执行参数和所述任务具体调度 策略， 对所述调度 预测模型 进行进一 步的训练优化。 9.一种基于深度学习算法的ETL调度装置， 其特 征在于， 所述装置包括： 任务获取模块， 用于获取包括有 多个待调度ETL任务的待调度任务组； 参数确定模块， 用于确定每一所述待调度ETL任务的任务执 行参数； 调度预测模块， 用于将所有所述待调度ETL任务的所述任务执行参数输入至训练好的 调度预测模型中， 以预测得到所述待调度任务组的任务调度参数； 所述调度预测模型根据 包括有多个历史任务的任务执 行参数和对应的任务调度参数的训练数据集训练得到； 调度执行模块， 用于根据所述任务调度参数， 对所述待调度任务组中的所述多个待调 度ETL任务进行调度执 行。 10.一种基于深度学习算法的ETL调度装置， 其特 征在于， 所述装置包括： 存储有可执行程序代码的存 储器； 与所述存 储器耦合的处 理器； 所述处理器调用所述存储器中存储的所述可执行程序代码， 执行如权利要求1 ‑8任一 项所述的基于深度学习算法的ETL调度方法。权　利　要　求　书 2/2 页 3 CN 114936085 A 3