(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210950931.2 (22)申请日 2022.08.09 (71)申请人 国网浙江省电力有限公司 地址 310007 浙江省杭州市黄龙路8号 申请人 国网浙江省电力有限公司培训中心 (72)发明人 孔飘红　张静　金学奇　由甲川　 钱建国　裘雨音　李剑　熊佩华　 张静　刘华蕾　 (74)专利代理 机构 杭州华鼎知识产权代理事务 所(普通合伙) 33217 专利代理师 王旭峰 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/27(2019.01) (54)发明名称 一种基于ETL处理的数据转移优化方法及设 备 (57)摘要 本发明涉及一种基于ETL处理的数据转移优 化方法及设备。 其方法部分主要包括： 多个ETL处 理服务器之间通过业务数据量的占比来确定对 相应业务进行ETL处理的ETL处理服务器； 各个 ETL处理服务器将相应业务的数据转移到对相应 业务进行ET L处理的ET L处理服务器中， 并将原 本 需要接收的相应业务的后续数据重定向到对相 应业务进行ETL处理的ETL处理服务器； 各个ETL 处理服务器获取自身转移数据到对相应业务进 行ETL处理的ET L处理服务器的时间T1， 以及相应 业务的后续数据上传到ETL处理服务器的时间 T2， 若T1大于T2， 则下发延迟上传的指令给相应 业务的后续数据上传方。 本发明采用的方法可以 优化网络数据的同步， 提升数据转移效率， 节约 网络资源， 避免数据顺序混乱。 权利要求书2页 说明书12页 附图4页 CN 115391435 A 2022.11.25 CN 115391435 A 1.一种基于 ETL处理的数据转移优化方法， 其特 征在于， 包括： 多个ETL处理服务器之间通过业务数据量的占比来确定对相应业务进行ETL处理的ETL 处理服务器； 各个ETL处理服务器将相应业务的数据转移到对相应业务进行ETL处理的ETL处理服务 器中， 并将原本需要接收的相应业务的后续数据重定向到对相应业务进 行ETL处理的ETL处 理服务器； 各个ETL处理服务器获取自身转移数据到对相应业务进行ETL处理的ETL处理服务器的 时间T1， 以及相应业务的后续数据上传到ETL处理服务器的时间T2， 若T1大于T2， 则 下发延 迟上传的指令给相应业 务的后续数据上传方。 2.根据权利要求1所述的一种基于ETL处理的数据转移优化方法， 其特征在于， 所述延 迟上传的指令中， 延迟上传的时间大于T1 ‑T2。 3.根据权利要求1所述的一种基于ETL处理的数据转移优化方法， 其特征在于， 所述多 个ETL处理服务器之间通过业务数据量的占比来确定对相应业务进 行ETL处理的ETL处理服 务器， 具体包括： 设定ETL调度服 务器以及多个用于进行ETL处 理的ETL处 理服务器； 各个ETL处理服务器在即将进行ETL处理时， 向ETL调度 服务器发送自身待 处理的ETL数 据清单， 所述ETL数据 清单上记录有不同业务的任务目录以及各项业务的数据量的百分比； ETL调度服务器根据所述ETL数据清单上记录的各项业务的数据量的百分比来确定对各项 业务进行ETL处 理的ETL处 理服务器。 4.根据权利 要求3所述的一种基于ETL处理的数据转移优化方法， 其特征在于， 所述ETL 数据清单上记录的各项业务的数据量的百分比， 具体包括： 本地服务器所拥有的各项业务 的数据量相对于历史进行ETL处 理过的该项业 务的数据总量的百分比。 5.根据权利 要求4所述的一种基于ETL处理的数据转移优化方法， 其特征在于， 所述ETL 调度服务器根据所述ETL数据 清单上记录的各项业务的数据量的百分比来确定对各项业务 进行ETL处 理的ETL处 理服务器， 具体包括： ETL调度服务器获取到各个ETL处理服务器发送的ETL数据清单后， 对比各个ETL数据清 单上记录的各项业务的数据量的百分比， 选出每项业务的数据量所占百分比最高的ETL数 据清单， 将 选出的ETL数据清单对应的ETL处理服务器 设置为对相应业务进行ETL处理的ETL 处理服务器。 6.根据权利要求5所述的一种基于ETL处理的数据转移优化方法， 其特征在于， 在根据 所述ETL数据清单上记录的各项业务的数据量的百分比来确定对某项业务进行ETL处理的 ETL处理服务器时， 需至少有一个ETL数据清单的该项业务的数据量所占百分比超过预设的 占比阈值， 否则不对该项业 务进行数据转移以及ETL处 理。 7.根据权利要求3所述的一种基于ETL处理的数据转移优化方法， 其特征在于， 所述各 个ETL处理服务器将相应业务的数据转移到对相应业务进行ETL处理的ETL处理服务器中， 具体包括： 各个ETL处理服务器均从ETL调度服务器处获取对相应业务进行ETL处理的ETL处理服 务器与相应业 务之间的对照表； 若自身是对相应业 务进行ETL处 理的ETL处 理服务器， 则保留自身的相应业 务数据；权　利　要　求　书 1/2 页 2 CN 115391435 A 2若自身不是对相应业务进行ETL处理的ETL处理服务器， 则将自身的相应业务数据转移 至对该相应业 务进行ETL处 理的ETL处 理服务器； 数据转移完成后， 需要对相应业务进行ETL处理的ETL处理服务器对相应业务进行ETL 处理。 8.根据权利 要求7所述的一种基于ETL处理的数据转移优化方法， 其特征在于， 所述ETL 调度服务器设定有调度周期， 在同一个调 度周期内， 所述ETL调度服务器只确定一次对相应 业务进行ETL处理的ETL处理服务器， 在同一个调度周期内， 若某项业务已确定对其进 行ETL 处理的ETL处理服务器， 则其它ETL处理服务器对接收该项业务的后续数据进行重定向， 使 该项业务的后续数据直接传递到对该项业 务进行ETL处 理的ETL处 理服务器。 9.根据权利要求1 ‑8任一所述的一种基于ETL处理的数据转移优化方法， 其特征在于， 在数据转移之后， 方法还 包括： 将已经接收到的多套业务的数据， 根据各业务的数据所触发关联验证的历史任务， 获 取各业务的数据当前等待验证的任务数量； 获取当前完成对应任务数量验证后的业务的数据， 通过比对完成对应任务数量验证后 的业务的数据， 确定是否能覆盖ETL过程所需的业务的数据； 若无法覆盖， 则进入等待执行 ETL过程； 若可以覆盖， 则执 行ETL过程； 在等待执行ETL过程中， 若分析出当前等待任务验证的剩余数据内容和执行ETL过程得 到的结果数据之和小于等于处于等待执行ETL过程中原始的业务的数据时， 则执行ETL过 程， 并保存ETL结果和当前等待任务验证的剩余 业务的数据； 在等待执行ETL过程中， 若分析出当前等待任务验证的剩余业务的数据和执行ETL过程 得到的结果数据之和大于处于等待执行ETL过程中原始的业务的数据时， 仍然维持等待执 行ETL过程。 10.一种基于 ETL处理的数据转移优化设备， 其特 征在于： 包括至少一个处理器和存储器， 所述至少一个处理器和存储器之间通过数据总线连 接， 所述存储器存储能被所述至少一个处理器执行 的指令， 所述指令在被所述处理器执行 后， 用于完成权利要求1 ‑9中任一项所述的一种基于 ETL处理的数据转移优化方法。权　利　要　求　书 2/2 页 3 CN 115391435 A 3