(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210957779.0 (22)申请日 2022.08.10 (71)申请人 北京友友天宇系统技 术有限公司 地址 100089 北京市海淀区东北旺西路8号 院4号楼一层15 0号 (72)发明人 姚宏宇　朱朝强　赵明飞　刘冠军　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 刘奕 (51)Int.Cl. H04L 67/10(2022.01) H04L 41/14(2022.01) G06F 16/25(2019.01) (54)发明名称 任务的分布式并发方法、 装置、 设备和可读 存储介质 (57)摘要 本申请的实施例提供了任务的分布式并发 方法、 装置、 设备和计算机 可读存储介质。 所述方 法包括获取待传输的数据； 通过已拆分的ETL模 型， 将所述待传输的数据写入到数据目标中。 基 于不同运行环境， 对ETL模型进行垂直、 水平和/ 或混合拆分， 从而实现多节点、 分布式、 跨网络域 的传输。 以此方式， 解决了数据不能跨地域和 网 络域进行传输和交换的问题， 同时提升了传输性 能。 权利要求书1页 说明书7页 附图4页 CN 115378937 A 2022.11.22 CN 115378937 A 1.一种任务的分布式并发方法， 其特 征在于， 包括： 获取待传输的数据； 通过已拆分的ETL模型， 将所述待传输的数据写入到数据目标中。 2.根据权利要求1所述的方法， 其特 征在于， 通过如下 方法对所述ETL模型进行拆分： 其中， 所述ETL模型包括数据源、 源适配 器、 转换器、 目标适配 器和数据目标； 若数据源和数据目标均设置了跨域运行， 且选择了不同的指定ETR条件， 则对所述ETL 模型进行垂直拆分； 若设置了数据源切分， 且运行模式为单节点， 则对所述ETL模型进行 水平拆分； 若同时满足水平拆分和垂直拆分的条件， 则对所述ETL模型进行混合拆分。 3.根据权利要求2所述的方法， 其特 征在于， 所述对所述ETL模型进行垂直拆分包括： 将源适配 器、 转换器和Dist ribute Output合并为 一个ETM， 部署在第一个ETR； 将DistributeInput和目标适配 器合并为 一个ETM， 部署在第二个ETR。 4.根据权利要求3所述的方法， 其特 征在于， 还 包括： 所述第一个ETR中的数据， 通过RPC远程调用到所述第二个ETR。 5.根据权利要求2所述的方法， 其特 征在于， 所述对所述ETL模型进行 水平拆分包括： 通过预设规则对数据源进行切分， 得到源适配 器的输入条件； 对所述输入条件进行区间值拆分、 固定值拆分、 字段值拆分和/或分区表拆分； 根据拆分结果， 构建ETM 。 6.根据权利要求5所述的方法， 其特 征在于， 还 包括： 若设置了清空表操作， 则将清空表操作单独提取成独立任务， 并串行于分片任务之前。 7.根据权利要求2所述的方法， 其特 征在于， 所述对所述ETL模型进行混合拆分包括： 基于垂直拆分和水平拆分的特 征， 对所述ETL模型进行拆分； 基于群组算法选取主节点， 通过所述主节点对拆分后的ETL模型的其它节点进行状态 变更、 控制和/或数据发送。 8.一种任务的分布式并发装置， 其特 征在于， 包括： 获取模块， 用于获取待传输的数据； 处理模块， 用于通过已拆分的ETL模型， 将所述待传输的数据写入到数据目标中。 9.一种电子设备， 包括存储器和处理器， 所述存储器上存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现如权利要求1～7中任一项所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1～7中任一项所述的方法。权　利　要　求　书 1/1 页 2 CN 115378937 A 2任务的分布式并发方 法、 装置、 设备和可读存储介质 技术领域 [0001]本申请的实施例涉及数据处理领域， 尤其涉及任务的分布式并发方法、 装置、 设备 和计算机可读存 储介质。 背景技术 [0002]为了解决数据孤岛、 数据烟囱的问题， 达到数据汇聚传输和异构系统之间的数据 交换需求， 市面上企业 解决这些问题通常使用ETL工具进行 数据的归集或交换。 [0003]但是一般情况下， ETL任务是运行在单个机器上的， 在某些特定场景， 如跨地域和 网络域进 行传输和交换,传统ETL工具并不能满足场景要求。 且， 单机性能有限， 需要提升效 能和突破性能瓶颈 。 发明内容 [0004]根据本申请的实施例， 提供了一种任务的分布式并发方案 。 [0005]在本申请的第一方面， 提供了一种任务的分布式并发方法。 该 方法包括： [0006]获取待传输的数据； [0007]通过已拆分的ETL模型， 将所述待传输的数据写入到数据目标中。 [0008]进一步地， 通过如下 方法对所述ETL模型进行拆分： [0009]其中， 所述ETL模型包括数据源、 源适配 器、 转换器、 目标适配 器和数据目标； [0010]若数据源和数据目标均设置了跨域运行， 且选择了不同的指定ETR条件， 则对所述 ETL模型进行垂直拆分； [0011]若设置了数据源切分， 且运行模式为单节点， 则对所述ETL模型进行 水平拆分； [0012]若同时满足水平拆分和垂直拆分的条件， 则对所述ETL模型进行混合拆分。 [0013]进一步地， 所述对所述ETL模型进行垂直拆分包括： [0014]将源适配 器、 转换器和Dist ribute Output合并为 一个ETM， 部署在第一个ETR； [0015]将Distribute Input和目标适配 器合并为 一个ETM， 部署在第二个ETR。 [0016]进一步地， 还包括： [0017]所述第一个ETR中的数据， 通过RPC远程调用到所述第二个ETR。 [0018]进一步地， 所述对所述ETL模型进行 水平拆分包括： [0019]通过预设规则对数据源进行切分， 得到源适配 器的输入条件； [0020]对所述输入条件进行区间值拆分、 固定值拆分、 字段值拆分和/或分区表拆分； [0021]根据拆分结果， 构建ETM 。 [0022]进一步地， 还包括： [0023]若设置了清空表操作， 则将清空表操作单独提取成独立任务， 并串行于分片任务 之前。 [0024]进一步地， 所述对所述ETL模型进行混合拆分包括： [0025]基于垂直拆分和水平拆分的特 征， 对所述ETL模型进行拆分；说　明　书 1/7 页 3 CN 115378937 A 3