金融行业标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210949776.2 (22)申请日 2022.08.09 (71)申请人 平安壹钱包电子商务有限公司 地址 518031 广东省深圳市福田区福田街 道福华路319号兆邦基金融大厦26层 2606单元 (72)发明人 钟琪  (74)专利代理 机构 北京中强智尚知识产权代理 有限公司 1 1448 专利代理师 朱春元 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/25(2019.01) (54)发明名称 数据融合场景下缺失数据的处理方法、 装 置、 介质及设备 (57)摘要 本发明涉及大数据技术领域, 公开了一种数 据融合场景下缺失数据的处理方法、 装置、 存储 介质及电子设备, 包括: 响应于数据融合的任务 请求, 生成任务表, 并根据所述任务表从多个数 据源系统通过异步的方式获取数据; 对获取的数 据进行融合, 生成合并后的数据和合并后的数据 路径, 并通知目标系统根据合并后的数据路径获 取合并后的数据; 判断融合前的各项数据是否缺 失; 如果数据存在缺失, 则通过生成异常数据表, 自动化地确定缺失数据的源系统; 从缺失数据的 源系统中通过异步的方式获取缺失数据。 通过该 方法, 能够解决现有技术中, 系统处理缺失数据 效率低下的技 术问题。 权利要求书2页 说明书8页 附图3页 CN 115328897 A 2022.11.11 CN 115328897 A 1.一种数据融合场景 下缺失数据的处 理方法, 其特 征在于, 包括: 响应于数据融合的任务请求, 生成任务表, 并根据所述任务表从多个数据源系统通过 异步的方式获取 数据; 对获取的数据进行融合, 生成合并后的数据和合并后的数据路径, 并通知目标系统根 据合并后的数据路径获取合并后的数据; 判断融合前的各项数据是否缺失; 如果数据存在缺失, 则通过生成异常数据表, 自动化 地确定缺失数据的源系统; 从缺失数据的源系统中通过异步的方式获取缺失数据。 2.根据权利要求1所述的方法, 其特征在于, 所述通过生成异常数据表, 自动化地确定 缺失数据的源系统, 包括: 将缺失数据的特征值记录到异常数据表, 其中, 所述异常数据表中包括缺失数据的特 征值与缺失数据的源系统接口 的对应关系; 根据异常数据表中缺失数据的特征值与缺失数据的源系统接口的对应关系确定缺失 数据的源系统。 3.根据权利要求2所述的方法, 其特征在于, 所述缺失数据的特征值包括: 缺失数据ID 和缺失数据类型, 所述异常数据表中包括缺失数据ID与缺失数据类型的第一关系, 及缺失 数据类型与缺失数据源系统接口的第二关系, 所述根据异常数据 表中缺失数据的特征值与 缺失数据的源系统接口 的对应关系确定缺失数据的源系统, 包括: 获取缺失数据ID, 根据所述第一关系, 确定缺失数据ID对应的缺失数据类型; 根据所述第二关系, 确定缺失数据类型对应的缺失数据的源系统。 4.根据权利要求2或3所述的方法, 其特征在于, 所述缺失数据的特征值还包括: 缺失数 据的状态值, 所述缺失数据的状态值包括: 缺 失或不缺 失, 所述从缺 失数据的源系统中通过 异步的方式获取缺失数据之后, 还 包括: 判断是否成功获取到缺失数据; 若成功获取到缺失数据, 则将缺失数据的状态值更改为不缺失, 并将缺失数据的状态 值重新记录 到异常数据表。 5.根据权利要求4所述的方法, 其特征在于, 所述判断是否成功获取到缺失数据之后, 还包括: 预定义最高重新获取次数; 根据缺失数据的状态值判断是否需要重新获取缺失数据; 当判断需要重新获取缺失数据时, 如果重新获取次数小于最高重新获取次数, 则继续 从缺失数据的源系统中通过异步的方式重新获取缺失数据; 否则, 根据缺失数据的源系统接口, 邮件通知缺失数据的系统, 用于重新获取缺失数 据。 6.根据权利要求5所述的方法, 其特征在于, 所述根据缺失数据的源系统接口, 邮件通 知缺失数据的系统后, 还 包括: 预定义最长等待时间; 判断是否成功重新获取到缺失数据; 当判断没有成功重新获取到缺失数据时, 如果等待时间等于或大于最长等待时间, 则权 利 要 求 书 1/2 页 2 CN 115328897 A 2继续从缺失数据的源系统中通过异步的方式重新获取缺失数据。 7.根据权利要求1所述的方法, 其特征在于, 所述对获取的数据进行融合, 生成合并后 的数据和合并后的数据路径, 并通知目标系统根据合并后的数据路径获取合并后的数据 后, 还包括: 判断目标系统是否成功获取到合并后的数据; 如果目标系统没有成功获取到合并后的数据, 则继续将合并后的数据路径发送给目标 系统, 用于目标系统根据合并后的数据路径重新获取合并后的数据。 8.一种数据融合场景 下缺失数据的处 理装置, 其特 征在于, 包括: 获取数据模块: 用于响应于数据融合的任务请求, 生成任务表, 并根据 所述任务表从多 个数据源系统通过异步的方式获取 数据; 数据融合模块: 用于对获取的数据进行融合, 生成合并后的数据和合并后的数据路径, 并通知目标系统根据合并后的数据路径获取合并后的数据; 判断模块: 用于判断融合前的各项数据是否缺失; 确定模块: 用于如果数据存在缺失, 则通过生成异常数据表, 自动化地确定缺失数据的 源系统; 获取缺失数据模块: 用于从缺失数据的源系统中通过异步的方式获取缺失数据。 9.一种存储介质, 其特征在于, 所述存储介质中存储有计算机程序, 其中, 所述计算机 程序被配置为运行时执 行权利要求1至7中任一项所述的方法。 10.一种电子设备, 其特征在于, 包括处理器和存储器, 其中所述存储器中存储有计算 机程序, 所述处理器被配置为运行所述计算机程序以执行权利要求 1至7中任一项 所述的方 法。权 利 要 求 书 2/2 页 3 CN 115328897 A 3

PDF文档 专利 数据融合场景下缺失数据的处理方法、装置、介质及设备

文档预览
中文文档 14 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据融合场景下缺失数据的处理方法、装置、介质及设备 第 1 页 专利 数据融合场景下缺失数据的处理方法、装置、介质及设备 第 2 页 专利 数据融合场景下缺失数据的处理方法、装置、介质及设备 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 01:01:51上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。