(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210874708.4 (22)申请日 2022.07.21 (71)申请人 武汉众邦银行股份有限公司 地址 432200 湖北省武汉市黄陂区盘龙城 经济开发区汉口北大道88号汉口北国 际商品交易中心D2区1-2层、 2 2-23层 (72)发明人 姜超　程峰　李耀　彭磊　 (74)专利代理 机构 成都正煜知识产权代理事务 所(普通合伙) 51312 专利代理师 李龙 (51)Int.Cl. G06F 9/445(2018.01) G06F 9/54(2006.01) G06F 16/242(2019.01) G06F 16/25(2019.01) (54)发明名称 一种基于批量流程服务实现的可视化数据 卸载方法及系统 (57)摘要 本发明公开了一种基于批量流程服务实现 的可视化数据卸载方法及系统， 属于数据处理技 术领域， 解决现有技术采用纯手工直接在服务器 上通过shell脚本卸数方式工作量大等问题。 本 发明在数据库表中配置用于进行数据卸载的数 据卸载控制表、 服务器信息表和ftp服务器信息 表； 使用java与sqlu ldr2构建实现在批量服务应 用中完成数据卸载功能的公用组件； 对数据卸载 控制表中的数据进行流程注册， 以将数据卸载控 制表中的每张表的卸载过程生成为一个数据卸 载流程； 基于生成的数据卸载流程配置数据卸载 流程组， 将所有的流程与该流程组进行关联， 并 通过界面展示数据卸载流程组执行卸载以及日 志查看。 本发明用于可视化数据卸载。 权利要求书3页 说明书6页 CN 115185608 A 2022.10.14 CN 115185608 A 1.一种基于 批量流程服务实现的可视化数据卸载 方法， 其特 征在于， 包括如下步骤： 步骤1： 在数据库表中配置用于进行数据卸载的数据卸载控制表、 服务器信息表和ftp 服务器信息表； 步骤2： 基于数据卸载控制表、 服务器信息表和ftp服务器信息表， 使用java与sqluldr2 构建实现在批量 服务应用中完成数据卸载功能的公用组件； 步骤3： 基于步骤1和步骤2得到的结果对数据卸载控制表中的数据进行流程注册， 以将 数据卸载控制表中的每张表的卸载 过程生成为一个数据卸载流 程； 步骤4： 基于生成的数据卸载流程配置数据卸载流程组， 将所有的流程与 该流程组进行 关联， 并通过界面展示数据卸载流 程组执行卸载以及日志查看。 2.根据权利要求1所述的一种基于批量流程服务实现的可视化数据卸载方法， 其特征 在于， 所述 步骤1的具体步骤为： 步骤1.1： 在数据库中配置一张数据卸载控制表， 其中， 数据卸载控制表用于控制需要 进行数据卸载工作的表， 数据卸载控制表中的配置字段包括表名、 自定义的文件导出名、 字 符集、 自定义的分隔符、 行 数分割或文件大小分割； 步骤1.2： 在数据库中配置服务器信息表， 其中， 服务器信息表中的配置字段包括数据 库中的用户的用户名、 密码、 ip、 实例名， 数据库中的用户的用户名及密码包括被授予了只 读权限的用户的用户名及密码， 当为被授予了只读权限的用户的用户名及密码时， 则不用 保存实际系统所使用的数据库中的用户的用户名和密码； 步骤1.3： 在数据库中配置ftp服务器信息表， 其中， ftp服务器信息表中的配置字段包 括导出路径、 ftp用户名、 ftp 密码和ftp地址 。 3.根据权利要求2所述的一种基于批量流程服务实现的可视化数据卸载方法， 其特征 在于， 所述 步骤2的具体步骤为： 步骤2.1： 使用数据卸载控制表对应的实体类作为参数传入某一条数据卸载控制记录， 并基于服务器信息表和数据卸载控制记录通过java字 符串拼接方式进 行拼接， 拼接后得到 sqludr2脚本语句， 其中， sqludr2脚本语句包括数据库中的用户的用户名、 密码、 ip、 实例 名、 sql语句、 字符集、 分隔符、 文件导出名、 行数分割和日志， 其中， 数据卸载控制记录代表 为传送的数据卸载控制表中的某一行 数据； 步骤2.2： 使用javaAPI调用步骤2.1生成好 的sqludr2脚本语句， 在服务器上生成需要 步骤2.1中传入参数 所对应的数据文件， 以及对应的日志文件； 步骤2.3： 卸载生成的数据文件后， 使用javaAPI对卸载下来的数据文件进行压缩 处理， 调用gzip工具压缩成gz文件格式； 步骤2.4： 基于ftp服务器信息表连接远程文件ftp服务器， 上传压缩后的数据文件， 若 上传过程中出现异常， 可 由公用组件进行异常信息抛出， 由上游流程捕获并登记到批量流 程表中， 通过生成的日志文件查看错 误信息， 否则， 上传到ftp服 务器。 4.根据权利要求3所述的一种基于批量流程服务实现的可视化数据卸载方法， 其特征 在于， 所述 步骤3的具体步骤为： 步骤3.1： 读取配置的数据卸载控制表中的所有行数据、 服务器信息表和ftp信息表， 使 用公用组件按照数据卸载控制表中的行记录分别生成各个行记录对应的数据卸载流程， 并 将数据卸载流程登记到新建的批量流程表中， 其中， 批量流程表的字段字段包括数据卸载权　利　要　求　书 1/3 页 2 CN 115185608 A 2流程的名称、 运行批次、 是否可以重复执行、 开始时间、 结束时间、 运行耗时、 运行状态信息 和错误堆栈； 步骤3.2： 若数据卸载过程出现异常， 通过对应的数据卸载流程日志查看， 该日志是在 批量流程表中的堆栈信息中； 步骤3.3： 若遇到批量流程表中中的任一数据卸载流程卸载过程出现问题， 根据批量流 程表中的参数配置决定是否可以重复执行该数据卸载流程， 重复运行会生成数据卸载流程 的新的运行日志， 重新生成的日志的字段包括数据卸载流程名称、 运行批次、 是否可以重复 执行、 开始时间、 结束时间、 运行耗时、 运行状态信息和错 误堆栈。 5.根据权利要求4所述的一种基于批量流程服务实现的可视化数据卸载方法， 其特征 在于， 所述 步骤4的具体步骤为： 步骤4.1： 将步骤3.1中各个数据卸载流程统一注册到 同一个数据卸载流程组中， 该数 据卸载流 程组定义了数据迁出工作的数据卸载流 程； 步骤4.2： 数据迁移人员在服务器中选择界面的流程组， 点击开始执行按钮， 批量调度 平台开始执行该流程组下 的数据卸载流程， 并实时观察各数据卸载流程执行情况， 同时会 在数据库中记录数据卸 载流程组运行状况， 若遇到某个数据卸 载流程出现错误， 通过对应 的流程日志进行查看或重复执 行该数据卸载流 程。 6.一种基于 批量流程服务实现的可视化数据卸载系统， 其特 征在于， 包括 配置模块： 在数据库表中配置用于进行数据卸载的数据卸载控制表、 服务器信息表和 ftp服务器信息表； 构建模块： 基于数据卸载控制表、 服务器信息表和ftp服务器信息表， 使用java与 sqluldr2构建实现在批量 服务应用中完成数据卸载功能的公用组件； 流程注册模块： 基于步骤1和步骤2得到的结果对数据卸载控制表中的数据进行流程注 册， 以将数据卸载控制表中的每张表的卸载 过程生成为一个数据卸载流 程； 流程组卸载模块： 基于生成的数据卸载流程配置数据卸载流程组， 将所有的流程与该 流程组进行关联， 并通过界面展示数据卸载流 程组执行卸载以及日志查看。 7.根据权利要求6所述的一种基于批量流程服务实现的可视化数据卸载系统， 其特征 在于， 所述配置模块的具体实现步骤为： 步骤1.1： 在数据库中配置一张数据卸载控制表， 其中， 数据卸载控制表用于控制需要 进行数据卸载工作的表， 数据卸载控制表中的配置字段包括表名、 自定义的文件导出名、 字 符集、 自定义的分隔符、 行 数分割或文件大小分割； 步骤1.2： 在数据库中配置服务器信息表， 其中， 服务器信息表中的配置字段包括数据 库中的用户的用户名、 密码、 ip、 实例名， 数据库中的用户的用户名及密码包括被授予了只 读权限的用户的用户名及密码， 当为被授予了只读权限的用户的用户名及密码时， 则不用 保存实际系统所使用的数据库中的用户的用户名和密码； 步骤1.3： 在数据库中配置ftp服务器信息表， 其中， ftp服务器信息表中的配置字段包 括导出路径、 ftp用户名、 ftp 密码和ftp地址 。 8.根据权利要求7所述的一种基于批量流程服务实现的可视化数据卸载系统， 其特征 在于， 所述构建模块的具体实现步骤为： 步骤2.1： 使用数据卸载控制表对应的实体类作为参数传入某一条数据卸载控制记录，权　利　要　求　书 2/3 页 3 CN 115185608 A 3