(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210840859.8 (22)申请日 2022.07.18 (65)同一申请的已公布的文献号 申请公布号 CN 114911862 A (43)申请公布日 2022.08.16 (73)专利权人 国网江苏省电力有限公司营销服 务中心 地址 210019 江苏省南京市 建邺区奥体大 街9号 (72)发明人 翟千惠　朱萌　钱旭盛　赵磊　 何玮　缪猛　张轩城　许高俊　 (74)专利代理 机构 北京智绘未来专利代理事务 所(普通合伙) 11689 专利代理师 王萍(51)Int.Cl. G06F 16/25(2019.01) G06F 16/27(2019.01) (56)对比文件 CN 111723160 A,2020.09.2 9 CN 106547882 A,2017.0 3.29 CN 107943979 A,2018.04.20 CN 106953901 A,2017.07.14 CN 106446085 A,2017.02.2 2 CN 110083579 A,2019.08.02 CN 109348542 A,2019.02.15 CN 111090698 A,2020.0 5.01 刘雪剑 等.基 于国网云平台的数据治理框 架研究及分析应用. 《电子技 术与软件工程》 .2020,(第10期), 审查员 陈曦 (54)发明名称 一种网上国网运营链路大数据传输系统及 方法 (57)摘要 本发明公开了一种网上国网运营链路大数 据传输系统及方法， 根据运营需同步的表需求确 定同步的表数量和结构； 按照表信息分类整合到 电子表格中； 根据电子表格内容在kafka里建立 分类的Topic； 通过SG ‑UEP方式将源端数据传输 至对应kafka的T opic里； 在数据库中对照电子表 格的表信息进行建表； 目标端通过OGG抽取复制 的方式将kafka里的数据抽 取到Oracle数据库； 将同步的数据进行整合和挖掘分析， 通过分析相 关业务逻辑形成对应的数据模型； 通过DI工 具配 置源端和目标端的库信息， 每隔一定时间拉取 Oracle数据库的数据进行存储并进行前台展 示。 本发明解决了数据同步过程中无法监控、 备份以 及及时处理缺失数据的问题， 为进行数据分析和 制定决策提供了保障。 权利要求书2页 说明书5页 附图3页 CN 114911862 B 2022.12.06 CN 114911862 B 1.一种网上国网运营链路大 数据传输方法， 其特 征在于， 所述方法包括 步骤： 步骤一， 根据运营需同步的表需求确定同步的表数量和结构以及每日的数据增量数； 步骤二， 将所 涉及的表按照表信息分类整合到电子表格中； 步骤三， 根据电子表格内容在kafka里建立分类的主题Topic； 在电子表格中将不同的 数据表按照类型分别通过kakfa的创建Topic命令在对应的kafka里构建主题Topic； 创建带 副本的主题Topic进行 数据备份； 步骤四， 通过SG ‑UEP的方式将源端的数据传输至对应 的kafka里的主题Topic里； 源端 将运营需同步的表 通过SG‑UEP工具中的表输入 ‑文本文件输入的方式将需要同步的表数据 信息抽取出来， 并通过上传kafka插件将数据文件同步至对应的主题Topic中； 上传至kafka 之后， 采用SG_UEP中的文件转移插件服务将上传完成的数据文件转移至备份目录， 并采用 统一更名标准备份； 步骤五， 在数据库中对照电子表格的表信息进行建表； 步骤六， 目标端通过Oracle  Golden Gate抽取复制 的方式将kafka里的数据抽取到 Oracle数据库； 步骤七， 将步骤六同步的数据进行整合和挖掘分析， 通过分析相关业务逻辑， 形成对应 的数据模型； 步骤八， 通过DI工具的方式配置源端和目标端的库信息， 每隔一定时间拉取Oracle数 据库的数据在MaxCompute组件进行存 储， 并进行 前台展示。 2.根据权利要求1所述的网上国网运营链路大 数据传输方法， 其特 征在于， 步骤一中， 按照不同的数据中心分成用户中心， 工单中心， 账单中心， 订单中心， 消息 中 心， 支付中心， 在不同的中心下面整合需要同步的表信息 。 3.根据权利要求1所述的网上国网运营链路大 数据传输方法， 其特 征在于， 步骤六中， 目标端通过Oracle  Golden Gate的方式配置抽取进程和复制进程， 抽取进 程实现的功能是将kafka的对应主题topic的数据抽取成文件， 复制进程实现的功能是将 kafka里的数据同步到Oracle 数据库中。 4.根据权利要求1所述的网上国网运营链路大 数据传输方法， 其特 征在于， 步骤七中， 整合相关的统计逻辑， 将整合好的逻辑编辑成存储过程， 并通过配置定时任 务来每天运行存 储过程完成搭建该 数据模型的要求。 5.根据权利要求1所述的网上国网运营链路大 数据传输方法， 其特 征在于， 步骤八中， 将存储的数据写到开发环境中， 分析业务过程， 对脏数据进行清洗， 汇总聚 合结果写入生产库以及ADB库中， 前台汇总后将对应结果展示。 6.一种网上国网运营链路大数据传输系统， 运行如权利要求1至5当中任一项所述的网 上国网运营链路大数据传输方法， 其特征在于， 包括源端和目标端， 并于源端和目标端分别 构建调度服 务集群， 源端和目标端均设置有资源库； 调度服务集群用于部署S G_UEP工具以及相关的oracle数据库服务； 调度 服务集群包括 n个整合引擎； 源端使用SG_UEP工具抽取数据同步至目标端的oracle数据库中， 相关的抽取流程配置 存放在资源库中， SG ‑UEP工具去读取该资源库可访问抽取数据的流程， 数据由源端同步至 目标端之后通过存储过程计算方式构建数据模型， 然后通过DI工具同步MaxComputer库中权　利　要　求　书 1/2 页 2 CN 114911862 B 2并前台展示。 7.根据权利要求6所述的网上国网运营链路大 数据传输系统， 其特 征在于， 还包括调度监控 模块， 用于实时监控数据同步的进度和状态。 8.根据权利要求6所述的网上国网运营链路大 数据传输系统， 其特 征在于， 所述系统基于阿里云MaxCompute组件技 术构建。 9.一种计算机存储介质， 其上存储有计算机数据库， 其特征在于， 该数据库在存储时实 现如权利要求1 ‑5任一项所述的网上国网运营链路大 数据传输方法。权　利　要　求　书 2/2 页 3 CN 114911862 B 3