金融行业标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210877223.0 (22)申请日 2022.07.25 (71)申请人 中电云数智科技有限公司 地址 430100 湖北省武汉市经济技 术开发 区人工智能科技园N栋研发楼3层 N3013号 (72)发明人 王飞 汪昱帅 李珞 冯治  余任杰  (74)专利代理 机构 工业和信息化部电子专利中 心 11010 专利代理师 袁鸿 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/28(2019.01) G06F 16/215(2019.01)G06F 9/448(2018.01) (54)发明名称 一种基于FlinkSQL与达梦的实时数仓方法 (57)摘要 本发明公开了一种基于FlinkSQL与达梦的 实时数仓方法, 包括: 基于下载的flink ‑ connector ‑jdbc源码, 新增达梦JDBC方言类, 并 继承AbstractDialect抽象类; 基于继承的 AbstractDialect抽象类, 配置目标连接器, 其中 所述目标连接器中包括连接达梦MPP的多个方 法 ; 基于配置后的目标连接器 , 新增达梦 RowConverter, 继承AbstractJdbcRowC onverter 接口, 以实现达梦MPP与FlinkSQL的数据转换。 本 发明实施例通过基于继承的AbstractDialect抽 象类, 配置目标连接器, 其中所述目标连接器中 包括连接达梦MPP的多个方法; 基于配置后的目 标连接器, 新增达梦RowConverter, 继承 AbstractJdbcRowConverter 接口, 由此实现了接 入数据到 达梦MPP, 完成数据治理工作。 权利要求书2页 说明书4页 附图1页 CN 115328981 A 2022.11.11 CN 115328981 A 1.一种基于Fl inkSQL与达梦的实时数仓方法, 其特 征在于, 包括: 基于下载的flink ‑connector ‑jdbc源码, 新增达梦JDBC方言类, 并继承 AbstractDialect抽象类; 基于继承的AbstractDi alect抽象类, 配置目标连接器, 其 中所述目标连接器中包括连 接达梦MPP的多个方法; 基于配置后的目标连接器, 新增达梦RowConverter, 继承AbstractJdbcRowConverter 接口, 以实现达 梦MPP与FlinkSQL的数据转换。 2.如权利 要求1所述的基于FlinkSQL与达梦的实时数仓方法, 其特征在于, 配置目标连 接器包括如下定义 步骤: 配置canHandle 方法, 以标记达 梦jdbc连接格式; 配置getRowConverter方法, 以自定义的达梦数据转换器, 将数据库数据信息转换成 flink数据类型; 配置defaultDriverName 方法, 以定义连接 达梦MPP使用的jdbc连接驱动。 3.如权利 要求2所述的基于FlinkSQL与达梦的实时数仓方法, 其特征在于, 配置目标连 接器还包括如下封装步骤: 配置getInsertIntoStatement方法, 封装达梦MPP插入数据SQL语句, 将写入的表和数 据字段, 转换成为达 梦MPP支持的I nsert语法; 配置getDeleteStatement方法, 封装达梦MPP删除数据SQL语句, 将删除的表名和条件 字段, 转换成为达 梦MPP支持的Delete语法; 配置getUpsertStatement方法, 封装达梦MPP  Upsert模式SQL语句, 将flink需要更新 的表与字段, 转换成达 梦MPP的MERGE INTO语法; 配置getRo wExistsStatement方法, 封装达 梦MPP校验数据是否存在语句; 配置getUpdateStatement方法, 封装达梦MPP更新数据SQL语句, 将删除的表名、 字段 名、 条件字段, 转换成为达 梦MPP支持的UP DATE语法; 配置getSelectFromStatement方法, 封装达梦Select模式SQL语句, 将查询的表名、 查 询字段、 条件字段, 转换成为达 梦的select语法。 4.如权利 要求3所述的基于FlinkSQL与达梦的实时数仓方法, 其特征在于, 配置目标连 接器还包括设置步骤: 配置dialectName 方法, 设置 达梦的方言标识为DM; 配置unsup portedTypes方法, 设置 达梦MPP不支持Fl ink数据类型。 5.如权利 要求1所述的基于FlinkSQL与达梦的实时数仓方法, 其特征在于, 还包括如 下 数据写入 验证步骤: 编译构建fl ink‑connector‑jdbc项目代码, 形成目标 数据包; 准备Kafka数据源, 增 加测试数据; 使用IDE构建Fl inkApp, 引入所述目标 数据包; 编写Flink程序, Source使用kafka数据源, Si nk端选择达 梦jdbc; 写入所述目标 数据包。 6.如权利 要求5所述的基于FlinkSQL与达梦的实时数仓方法, 其特征在于, 所形成的目 标数据包的版本与使用IDE构建Fl inkApp的版本对应。权 利 要 求 书 1/2 页 2 CN 115328981 A 27.一种终端设备, 其特征在于, 包括处理器和存储器, 所述存储器上存储有计算机程 序, 所述计算机程序被处理器执行时实现如权利要求1至6中任一项 所述的基于FlinkSQL与 达梦的实时数仓方法的步骤。 8.一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质上存储有计算机 程序, 所述计算机程序被处理器执行时实现如权利要求 1至6中任一项 所述的基于FlinkSQL 与达梦的实时数仓方法的步骤。权 利 要 求 书 2/2 页 3 CN 115328981 A 3

PDF文档 专利 一种基于FlinkSQL与达梦的实时数仓方法

文档预览
中文文档 8 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共8页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种基于FlinkSQL与达梦的实时数仓方法 第 1 页 专利 一种基于FlinkSQL与达梦的实时数仓方法 第 2 页 专利 一种基于FlinkSQL与达梦的实时数仓方法 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 01:01:58上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。