(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210911210.0 (22)申请日 2022.07.29 (71)申请人 北京结慧科技有限公司 地址 100041 北京市石景山区实兴大街3 0 号院3号楼 2层A-1151房间 (72)发明人 张颖　陈亨　 (74)专利代理 机构 北京瀚仁知识产权代理事务 所(普通合伙) 11482 专利代理师 陈敏 (51)Int.Cl. G06F 11/34(2006.01) G06F 16/25(2019.01) G06F 16/27(2019.01) (54)发明名称 oracle数据库的日志文本数据解析、 采集方 法、 服务器及介质 (57)摘要 本发明涉及数据处理技术领域， 具体提供一 种oracle数据库的日志文本数据解析、 采集方 法、 服务器及介质， 旨在解决在进行数据库的数 据解析过程中， 针对不同的数据量应用场景， 如 何确保数据解析的实时性， 提升数据的同步效率 的问题。 为此目的， 本发明根据oracle数据库单 位时间产生的数据量， 确定是使用单条解析线程 进行解析还是使用单条解析线程和批量解析线 程同时进行解析， 能够有效避免在不同单位时间 数据量的情况下， 使用单一的解析线程造成的解 析实时性差的问题， 能够有效确保数据解析的实 时性， 提升数据的同步效率。 权利要求书2页 说明书9页 附图3页 CN 115470083 A 2022.12.13 CN 115470083 A 1.一种oracle 数据库的日志文本数据解析 方法， 其特 征在于， 所述方法包括： 创建单条解析线程和批量解析线程， 其中所述单条解析线程的解析量为从oracle   logminer组件每批次接收1条日志文本数据， 批量解析线程的解析量为从oracle  logminer 组件每批次接收N条日志文本数据， 其中N大于1； 根据单位时间所述oracle数据库产生的数据量， 确定使用单条解析线程进行解析或者 使用单条解析线程和批量 解析线程同时进行解析。 2.根据权利 要求1所述的方法， 其特征在于， 所述根据单位时间所述oracle数据库产生 的数据量， 确定使用单条解析线程进 行解析或者使用单条解析线程和批量解析线程同时进 行解析， 包括： 当所述单位时间所述oracle数据库产生的数据量小于N时， 使用单条解析线程进行解 析， 得到待处 理业务数据， 批量 解析线程处于等待状态； 当所述单位时间所述oracle数据库产生的数据量大于等于N时， 使用单条解析线程和 批量解析线程同时进行解析， 得到待处 理业务数据。 3.根据权利要求1或2所述的方法， 其特 征在于， 所述 解析包括： 将归档日志文件列表中的二进制数据转换为待处理业务数据， 其中所述二进制数据为 将oracle logminer组件挖掘的日志文本数据存 入所述归档日志文件列表中而得到 。 4.根据权利要求1 ‑3中任一项所述的方法， 其特征在于， 所述N与oracle数据库的业务 表的列数及每列的内容相关。 5.一种oracle 数据库的日志文本数据采集方法， 其特 征在于， 所述方法包括： 创建单条解析线程和批量解析线程， 其中所述单条解析线程的解析量为从oracle   logminer组件每批次接收1条日志文本数据， 批量解析线程的解析量为从oracle  logminer 组件每批次接收N条日志文本数据， 其中N大于1； 根据单位时间所述oracle数据库产生的数据量， 确定使用单条解析线程进行解析或者 使用单条解析线程和批量 解析线程同时进行解析； 将解析得到的待处 理业务数据进行处 理， 得到业 务应用数据。 6.根据权利 要求5所述的方法， 其特征在于， 所述根据单位时间所述oracle数据库产生 的数据量， 确定使用单条解析线程进 行解析或者使用单条解析线程和批量解析线程同时进 行解析， 包括： 当所述单位时间所述oracle数据库产生的数据量小于N时， 使用单条解析线程进行解 析， 得到待处 理业务数据， 批量 解析线程处于等待状态； 当所述单位时间所述oracle数据库产生的数据量大于等于N时， 使用单条解析线程和 批量解析线程同时进行解析， 得到待处 理业务数据。 7.根据权利要求5或6所述的方法， 其特 征在于， 所述 解析包括： 将归档日志文件列表中的二进制数据转换为待处理业务数据， 其中所述二进制数据为 将oracle logminer组件挖掘的日志文本数据存 入所述归档日志文件列表中而得到 。 8.根据权利要求7所述的方法， 其特征在于， 在使用单条解析线程进行解析的情况下， 所述将解析 得到的待处 理业务数据进行处 理， 得到业 务应用数据， 包括： 针对每条日志文本数据对应的二进制数据， 使用单条解析线程进行解析， 生成解析得 到的待处 理业务数据对应的唯一缓存标识；权　利　要　求　书 1/2 页 2 CN 115470083 A 2判断本地缓存中是否存在相同的唯一缓存标识； 若不存在， 则将待处理业务数据转换为业务应用数据， 存入消息队列中， 以待消费者消 费； 若存在， 则丢弃 该待处理业务数据。 9.根据权利要求7所述的方法， 其特征在于， 在使用单条解析线程和批量解析线程同时 进行解析的情况下， 所述将解析得到的待处理业务数据进行处理， 得到业务应用数据， 包 括： 针对每条 日志文本数据对应的二进制数据， 使用单条解析线程和批量解析线程同时进 行解析， 生成对应于单条解析线程的第一唯一缓存标识以及对应于批量解析线程的第二唯 一缓存标识； 判断本地缓存中是否存在相同的唯一缓存标识； 若存在， 丢弃对应的待处 理业务数据； 若不存在， 将所述唯一缓存标识保存在本地缓存， 并将对应的待处理业务数据转换为 业务应用数据存入消息队列中， 以待消费者消费， 其中所述批量解析线程在完成一个批次 的解析后将解析到的数据位置S CN同步给单条解析线程， 所述单条解析线程重启， 以使 得所 述单条解析线程和批量 解析线程从同一数据位置开始进行 下一批次的解析。 10.一种异构数据资源同步的方法， 其特 征在于， 包括： 权利要求5 ‑9中任一项所述的采集方法； 将得到的业 务应用数据存 储在不同于oracle的数据库中。 11.一种服务器， 包括处理器和存储装置， 所述存储装置适于存储多条程序代码， 其特 征在于， 所述程序 代码适于由所述处理器加载并运行以执行权利要求 1至4中任一项 所述的 方法或者权利要求要求5 ‑9中任一项所述的方法或者权利要求10所述的方法。 12.一种计算机可读存储介质， 其中存储有多条程序代码， 其特征在于， 所述程序代码 适于由处理器加载并运行以执行权利要求 1至4中任一项 所述的方法或者权利要求要求5 ‑9 中任一项所述的方法或者权利要求10所述的方法。权　利　要　求　书 2/2 页 3 CN 115470083 A 3