(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210949413.9 (22)申请日 2022.08.09 (71)申请人 国网浙江省电力有限公司 地址 310007 浙江省杭州市黄龙路8号 申请人 国网浙江省电力有限公司培训中心 (72)发明人 阙凌燕　张静　钱建国　章晓锘　 刘华蕾　熊佩华　马国梁　金学奇　 方磊　由甲川　卢敏　 (74)专利代理 机构 杭州华鼎知识产权代理事务 所(普通合伙) 33217 专利代理师 王旭峰 (51)Int.Cl. G06F 16/25(2019.01) G06F 9/48(2006.01) G06Q 50/06(2012.01) (54)发明名称 一种优化ETL数据等待的方法、 装置及存储 介质 (57)摘要 本发明公开了一种优化ETL数据等待的方 法、 装置及存储介质。 方法包括将接收到的多套 数据内容， 根据各数据内容所触发关联验证的历 史任务， 获取各数据内容当前等待验证的任务数 量； 获取当前完成对应任务数量验证后的数据内 容， 通过比对完成对应任务数量验证后的数据内 容， 确定是否能覆 盖ETL过程所需的数据内容； 若 无法覆盖， 则进入等待执行ETL过程； 若可以覆 盖， 则执行ETL过程。 本发明设定优先验证的预设 阈值， 对当前待验证的任务量小于预设阈值优先 处理， 降低数据处理等待时间； 当前等待验证的 任务数据信息和进行ETL操作之后的数据信息总 量小于原始数据信息时， 进行ETL操作， 降低了 ETL操作前的等待时间， 提高了 ETL的效率。 权利要求书2页 说明书8页 附图2页 CN 115438106 A 2022.12.06 CN 115438106 A 1.一种优化ETL数据等待的方法， 其特 征在于， 包括： 将已经接收到的多套数据内容， 根据各数据内容所触发关联验证的历史任务， 获取各 数据内容当前等待验证的任务数量； 获取当前完成对应任务数量验证后的数据内容， 通过比对完成对应任务数量验证后的 数据内容， 确定是否能覆盖ETL过程所需的数据内容； 若无法覆盖， 则进入等待执行ETL过 程； 若可以覆盖， 则执 行ETL过程； 在等待执行ETL过程中， 若分析出当前等待任务验证的剩余数据内容和执行ETL过程得 到的结果数据之和小于等于处于等待执行ETL过程中原始数据内容时， 则执行ETL过程， 并 保存ETL结果和当前等待任务验证的剩余数据内容。 2.根据权利要求1所述的一种优化ETL数据等待的方法， 其特征在于， 还包括在等待执 行ETL过程中， 若分析出当前等待任务验证的剩余数据内容和执行ETL过程得到的结果数据 之和大于处于等待执 行ETL过程中原 始数据内容时， 仍然维持等待执 行ETL过程。 3.根据权利要求1所述的一种优化ETL数据等待的方法， 其特征在于， 所述根据各数据 内容所触发关联验证的历史任务， 具体为： 接收到的数据内容， 按照数据内容的来源、 数据内容的属性、 数据内容的大小中的一项 或者多项， 确定所述数据内容所触发关联验证的历史任务； 其中， 所述历史任务需要多套数据内容均被收到才能完成验证， 若存在数据内容缺失 则无法进行相应历史任务的验证过程。 4.根据权利 要求1所述的一种优化ETL数据等待的方法， 其特征在于， 进入等待执行ETL 过程， 在所述ETL过程包括至少第一ETL过程和第二ETL过程时， 方法还 包括： 获取第一ETL过程中各数据内容当前等待验证的剩余任务总数量， 以及第二ETL过程中 各数据内容当前等待验证的剩余任务总数量； 若第一ETL过程中各数据内容当前等待验证的剩余任务总数量小于等于预设阈值， 则 调度本服 务器或其 他服务器进行优先处 理第一ETL过程中各 数据内容的验证任务。 5.根据权利 要求4所述的一种优化ETL数据等待的方法， 其特征在于， ETL过程中各数据 内容当前等待验证的剩余任务总数量均大于预设阈值时， 按照本服务器或其他服务器原有 的顺序处 理当前等待验证的任务。 6.根据权利要求1所述的一种优化ETL数据等待的方法， 其特征在于， 所述执行ETL过 程， 并保存ETL结果和当前等待任务验证的剩余数据内容， 具体包括： 所述执行ETL过程之前， 生成当前等待任务验证的剩余数据内容的副本； 在执行ETL过 程之后， 保存ETL结果和所述当前等待任务验证的剩余数据内容的副本； 在所述当前等待任务验证的剩余数据内容的副本所对应的验证任务全部完成后， 删除 所述当前等待任务验证的剩余数据内容的副本 。 7.根据权利 要求1所述的一种优化ETL数据等待的方法， 其特征在于， 在等待执行ETL过 程中， 分析出当前等待任务验证的剩余数据内容和执行ETL过程得到的结果数据之和与处 于等待执 行ETL过程中原 始数据内容的大小关系， 具体包括： 在第一次触发所述分析之后， 记录当前等待任务验证的剩余数据内容和执行ETL过程 得到的结果数据之和与处于等待执 行ETL过程中原 始数据内容的第一差值； 按照执行ETL过程得到的结果数据与执行ETL过程中原始数据内容的比值关系得到ETL权　利　要　求　书 1/2 页 2 CN 115438106 A 2压缩比例， 则在第一次触发所述分析之后， 新获取到一套或者多套数据内容所关联 的任务 数量清零后， 且所述新获取到一套或者多套数据内容在加权所述ETL压缩比例之后得到结 果大于等于所述第一差值时， 第二次触发相应分析内容。 8.根据权利 要求7所述的一种优化ETL数据等待的方法， 其特征在于， 所述ETL压缩比的 获取， 包括历史执 行对应ETL过程计算得到； 或者， 通过模拟仿真运 算计算得到 。 9.一种优化ETL数据等待的装置， 其特 征在于， 包括： 至少一个处 理器； 至少一个存 储器； 其中， 所述至少一个处理器以及所述至少一个存储器相互通信连接， 所述至少一个存 储器存储有可被所述至少一个处理器执行 的指令， 所述指令被所述至少一个处理器执行， 以使所述至少一个处理器能够执行本发明权利要求1 ‑8任一项权利要求所提供的优化ETL 数据等待的方法。 10.一种非易失性计算机存储介质， 其特征在于， 所述计算机存储介质存储有计算机可 执行指令， 该计算机可执行指 令被一个或多个处理器执行， 用于完成权利要求 1‑8任一项权 利要求所提供的优化ETL数据等待的方法。权　利　要　求　书 2/2 页 3 CN 115438106 A 3