(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210952302.3 (22)申请日 2022.08.09 (71)申请人 北京捷科智诚科技有限公司 地址 100086 北京市海淀区中关村东路18 号1号楼13层C -1608 申请人 江苏润和软件股份有限公司 (72)发明人 赵小刚　邵军　谭新胜　孟保旺　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 杜静静 (51)Int.Cl. G06F 16/245(2019.01) G06F 16/22(2019.01) G06F 16/25(2019.01) (54)发明名称 一种基于内存数据比对的改进方法 (57)摘要 本发明涉及一种基于内存数据比对的改进 方法， 所述方法包括以下步骤： 步骤1： 预设数据 读取脚本、 指定比对索引列、 预设数据读取阈值； 步骤2： 配置hash分片参数、 配置数据存储阈值； 步骤3： 内存中创建目标数据临时存储单元,读取 目标数据； 步骤4： 目标数据hash计算 分片存储到 内存对应存储单元中； 步骤5： 目标数据消费、 存 储到本地文件数据库rocksdb中； 步骤6： 内存中 创建源数据临时存储单元， 步骤7： 内存源数据监 控， 步骤8： 使用动态代理技术动态创建结果表实 例， 并将数据比对明细写入； 该技术方案采用多 线程、 基于高效内存队列 将数据按批装入内存多 次进行对比， 同时利用数据分页、 分片等技术， 从 而达到数据的高效比对， 有效避免服务宕机现 象。 权利要求书2页 说明书4页 附图1页 CN 115408425 A 2022.11.29 CN 115408425 A 1.一种基于内存数据比对的改进方法， 其特 征在于， 所述方法包括以下步骤： 步骤1： 预设数据读取脚本、 指定比对索引列、 预设数据读取阈值； 步骤2： 配置 hash分片参数、 配置数据存 储阈值； 步骤3： 内存中创建目标 数据临时存 储单元,读取目标 数据； 步骤4： 目标 数据hash计算分片存 储到内存 对应存储单元中； 步骤5： 目标 数据消费、 存 储到本地文件数据库rocksdb中； 步骤6： 内存中创建源数据临时存储单元， 读取源数据做hash计算并存储到相应存储单 元中； 步骤7： 内存 源数据监控， 当存 储单元中数据量 等于阈值则目标 数据与源数据比对； 步骤8： 使用动态 代理技术动态创建结果表实例， 并将数据比对明细写入。 2.根据权利要求1所述的基于内存数据比对的改进方法， 其特征在于， 步骤1具体如下： 预设目标 数据源数据sql 查询脚本、 文件读取脚本并指定比对索引列， 预设数据读取阈值。 3.根据权利要求2所述的基于内存数据比对的改进方法， 其特征在于， 步骤2具体如下： 配置hash分片参数默认1000， 配置数据存储阈值默认10000， 配置数据读取阈值默认 1000000， 则程序启动会在内存中默认创建1000个存储 单元， 并且设置每个存储 单元数据存 储阈值为 10000， 每次读取1000000数据， 同时以上3个参数可以根据服务器 资源情况动态调 整配置。 4.根据权利要求3所述的基于内存数据比对的改进方法， 其特征在于， 步骤3具体如下： 启动目标数据读取线程； 在内存创建与Step2分片参数对应个数的数据临 时存储单元， 通过 步骤1中预设脚本读取目标数据， 是数据库数据， 或者是文件数据， 数据库数据则采用流读 取模式， 根据服务器资源情况分批次读取数据， 且每次读取的数据量不超过Step2中的数据 读取阈值， 从而降低数据库数据读取压力； 如果是文件数据， 则采用IO缓冲区读取， 根据资 源情况调整读取缓冲区大小的配置， 同时设置目标 数据读取 结束标识。 5.根据权利要求3或4所述的基于内存数据比对的改进方法， 其特征在于， 步骤4具体如 下： 对读取到的目标数据， 按照步骤1中指定的比对索引 列计算hash值， 并通过该hash值进 行分片， key ‑value方式存储到步骤3对应的存储 单元， 当某个储存单元中数据量等于步骤2 中的存储阈值或者读取到结束标识， 则等待步骤5线程启动进 行数据消费， 数据消费后继续 步骤3， 直至目标 数据全部读取、 消费完毕。 6.根据权利要求5所述的基于内存数据比对的改进方法， 其特征在于， 步骤5具体如下： 启动目标数据存储线程， 创建与步骤2配置的hash 分片参数对应个数的r ocksdb文件 数据库 实例， 监听内存中各存储单元内目标数据量， 如果等于阈值或者读取到结束标识， 则从 内存 中取出， 并存储到与之对应的文件 数据库中， 直至目标数据全部存储到r ocksdb文件 数据库 中。 7.根据权利要求6所述的基于内存数据比对的改进方法， 其特征在于， 步骤6具体如下： 启动源数据读取线程,读取源数据流 程与步骤3相同。 8.根据权利要求7所述的基于内存数据比对的改进方法， 其特征在于， 步骤7具体如下： 启动数据比对线程， 监听内存中源数据的各存储单元内源数据量， 如果等于阈值或者读取 到数据结束 标识， 则从内存中取出， 对指 定比对索引列进 行hash计算并与对应r ocksdb文件 数据库中数据进行循环比对， 比对逻辑优先按行进 行数据比对， 如果比对成功则记录数据，权　利　要　求　书 1/2 页 2 CN 115408425 A 2比对失败则将数据进行按列比对直至将所有列数据比对完成后记录数据。 9.根据权利要求8所述的基于内存数据比对的改进方法， 其特征在于， 步骤8具体如下： 采用动态代理技术cglib按照预设脚本的案例ID动态创建mongodb实例， 将比对结果写入到 与之对应的mo ngodb数据库中。权　利　要　求　书 2/2 页 3 CN 115408425 A 3