(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221087320 5.5 (22)申请日 2022.07.22 (71)申请人 中国银行股份有限公司 地址 100818 北京市西城区复兴门内大街1 号 (72)发明人 王见广　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 薛平　汤在彦 (51)Int.Cl. G06F 9/48(2006.01) G06F 16/25(2019.01) G06F 16/27(2019.01) (54)发明名称 数据装载 方法及装置 (57)摘要 本发明公开了一种数据装 载方法及装置， 涉 及大数据， 其中该方法包括： 当扫描到需进行数 据装载的数据文件时， 确定设备上并发运行的进 程数是否小于预设进程数目， 其中， 所述预设进 程数目是根据设备性能预先确定的； 当小于所述 预设进程数目时， 调动进程对所述数据文件进行 第一次数据装 载。 本发明可以使得装 载效率达到 最优状态， 大大减少了装载的时间； 不仅解决了 一次装载方案异常出现的问题， 也提高了处理的 效率， 可以更 快的将数据进行处 理。 权利要求书1页 说明书6页 附图3页 CN 115202843 A 2022.10.18 CN 115202843 A 1.一种数据装载 方法， 其特 征在于， 包括： 当扫描到 需进行数据装载的数据文件时， 确定设备上并发运行的进程数是否小于预设 进程数目， 其中， 所述预设进程数目是根据设备性能预 先确定的； 当小于所述预设进程数目时， 调动进程对所述数据文件进行第一次数据装载。 2.如权利要求1所述的方法， 其特征在于， 所述预设进程数目是根据设备性能预先通过 测试的方式确定的， 所述预设进程数目下设备 数据装载效率 最优。 3.如权利要求1或2所述的方法， 其特 征在于， 进一 步包括： 在确定第一次数据装载异常后， 进行第二次数据装载， 在所述第二次数据装载中将一 条一条第一次数据装载异常的数据进行 逐一装载。 4.如权利要求3所述的方法， 其特征在于， 通过以下方式之一或者其组合确定第 一次数 据装载异常： 比对数据装载数和数据文件记录数， 比对预设加载的数据条数和实际加载的数据条 数， 查看日志的异常记录， 查看数据装载异常记录 。 5.如权利要求3所述的方法， 其特 征在于， 进一 步包括： 在确定第二次数据装载异常后， 将加载异常的数据按脏数据进行处 理。 6.一种数据装载装置， 其特 征在于， 包括： 进程模块， 用于当扫描到需进行数据装载的数据文件时， 确定设备上并发运行的进程 数是否小于预设进程数目， 其中， 所述预设进程数目是根据设备性能预 先确定的； 第一装载模块， 用于当小于所述预设进程数目时， 调动进程对所述数据文件进行第一 次数据装载。 7.如权利要求6所述的装置， 其特征在于， 进程模块进一步用于根据设备性能预先通过 测试的方式确定所述预设进程数目， 所述预设进程数目下设备 数据装载效率 最优。 8.如权利要求6或7 所述的装置， 其特 征在于， 进一 步包括： 第二装载模块， 用于在确定第 一次数据装载异常后， 进行第 二次数据装载， 在所述第二 次数据装载中将一条一条第一次数据装载异常的数据进行 逐一装载。 9.如权利要求8所述的装置， 其特征在于， 第 二装载模块进一步用于通过以下方式之一 或者其组合确定第一次数据装载异常： 比对数据装载数和数据文件记录数， 比对预设加载的数据条数和实际加载的数据条 数， 查看日志的异常记录， 查看数据装载异常记录 。 10.如权利要求8所述的装置， 其特征在于， 第二装载模块进一步用于在确定第二次数 据装载异常后， 将加载异常的数据按脏数据进行处 理。 11.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至5任一所述方 法。 12.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序被处 理器执行时实现权利要求1至 5任一所述方法。 13.一种计算机程序产品， 其特征在于， 所述计算机程序产品包括计算机程序， 所述计 算机程序被处 理器执行时实现权利要求1至 5任一所述方法。权　利　要　求　书 1/1 页 2 CN 115202843 A 2数据装载 方法及装置 技术领域 [0001]本发明涉及大 数据技术领域， 尤其涉及数据装载 方法及装置 。 背景技术 [0002]ETL(Extract、 Transform、 Load， 抽取、 转换、 装载)。 ETL是建立数据仓库最重要的 处理过程， 也是最体现工作量的环 节， 一般会占到整个数据仓库项目工作量的一半以上。 [0003]抽取： 从操作型 数据源获取 数据。 [0004]转换： 转换 数据， 使之转变为 适用于查询和分析的形式和结构。 [0005]装载： 将转换后的数据导入到最终的目标 数据仓库。 [0006]建立一个数据仓库， 就是要把来自于多个异构的源系统的数据集成在一起， 放置 于一个集中的位置用于数据分析。 如果一开始这些源系统数据就是兼容的当然最好， 但情 况往往不是这样。 ETL系统的工作就是要把异构的数据转换成同构的。 如果没有ETL， 不可能 对异构的数据进行程序化的分析。 [0007]数据装载是指将转换好的数据保存到数据仓库 中去。 一般情况下， 数据装载应该 在系统完成了更新之后进行。 [0008]基于分布式架构下的数据 装载， 针对提供的表明(表格明细)、 会计日期、 增全量标 识、 分片号信息等， 将带有这些信息的数据文件 装载到对应的数据库表中。 [0009]现有技术的不足在于， 数据装载效率 不高。 发明内容 [0010]本发明实施例提供一种数据装载 方法， 用以提高数据装载效率， 该 方法包括： [0011]当扫描到需进行数据装载的数据文件时， 确定设备上并发运行的进程数是否小于 预设进程数目， 其中， 所述预设进程数目是根据设备性能预 先确定的； [0012]当小于所述预设进程数目时， 调动进程对所述数据文件进行第一次数据装载。 [0013]本发明实施例还提供一种数据装载装置， 用以提高数据装载效率， 该装置包括： [0014]进程模块， 用于当扫描到需进行数据装载的数据文件时， 确定设备上并发运行的 进程数是否小于预设进程数目， 其中， 所述预设进程数目是根据设备性能预 先确定的； [0015]第一装载模块， 用于当小于所述预设进程数目时， 调动进程对所述数据文件进行 第一次数据装载。 [0016]本发明实施例还提供一种计算机设备， 包括存储器、 处理器及存储在存储器上并 可在处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现上述数据装载方 法。 [0017]本发明实施例还提供一种计算机可读存储介质， 所述计算机可读存储介质存储有 计算机程序， 所述计算机程序被处 理器执行时实现上述数据装载 方法。 [0018]本发明实施例还提供一种计算机程序产品， 所述计算机程序产品包括计算机程 序， 所述计算机程序被处 理器执行时实现上述数据装载 方法。说　明　书 1/6 页 3 CN 115202843 A 3