(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210865426.8 (22)申请日 2022.07.21 (71)申请人 中国平安财产保险股份有限公司 地址 518000 广东省深圳市福田区益田路 5033号平安金融中心12、 13、 38、 39、 40 层 (72)发明人 李慎刚　 (74)专利代理 机构 深圳市世联合知识产权代理 有限公司 4 4385 专利代理师 郝少剑 (51)Int.Cl. G06F 16/25(2019.01) G06F 16/242(2019.01) G06F 16/28(2019.01) (54)发明名称 数据报表生成方法、 装置、 计算机设备及存 储介质 (57)摘要 本申请实施例属于大数据分析领域， 应用于 数据报表 生成领域中， 涉及一种数据报表生成方 法、 装置、 计算机设备及存储介质， 其中方法包括 采集初始数据， 存储至关系型数据库； 基于Dr  u  i d数据连接池将所述初 始数据发送至H  i ve数 据仓库； 对初始数据进行离线ETL处理， 展 示至分 析界面； 获取用户分析需求， 生成HQL执行语句； 执行分析计划， 获取数据分析结果； 将数据分析 结果展示至数据分析界面， 采用Dr  u i d连接池 连接关系型数据库和H  i ve数据仓库， 将初始数 据保存在关系型数据库， 分析时， 对H  i ve数据 仓库内数据进行处理， 实现数据复用， 同时使用 Dr u i d连接池提高数据传输速度， 保证了时效 性。 权利要求书3页 说明书11页 附图5页 CN 115168471 A 2022.10.11 CN 115168471 A 1.一种数据报表生成方法， 其特 征在于， 包括下述 步骤： 采集待进行分析实时数据及离线数据， 作为初始数据， 并将其存储至预设关系型数据 库； 基于Druid数据连接池从所述关系型数据库中获取所述初始数据， 并发送至Hive数据 仓库； 基于所述Hive 数据仓库对所述初始数据进行离线ETL处 理， 展示至预设数据分析界面； 获取用户在所述数据分析界面通过点击事件选择的数据分析维度、 数据展示指标、 数 据筛选条件和指标关联算法； 基于所述数据分析维度、 数据展示指标、 数据筛选条件和指标关联算法， 生成HQL执行 语句； 将所述HQL执行语句转换为数据分析计划存储在基于Hadoop集群的HDFS文件系统中， 执行所述数据分析计划， 获取 数据分析报表； 将所述数据分析报表展示至所述数据分析界面内预设区域。 2.根据权利要求1所述的数据报表生成方法， 其特征在于， 所述基于Druid数据连接池 从所述关系型 数据库中获取 所述初始数据， 并发送至 Hive数据仓库的步骤， 具体包括： 基于Druid数据连接池从所述关系型数据库中获取所述初始数据， 并从预设配置文件 中获取所述初始数据的元 数据， 将所述初始数据和所述元 数据一并发送至 Hive数据仓库， 其中， 所述元数据用于指示所述初始数据在所述关系型数据库中的存储位置， 包括初 始数据对应表格的表名、 所述表格中的列名、 所述表格中的分区信息 。 3.根据权利要求2所述的数据报表生成方法， 其特征在于， 所述基于所述Hive数据仓库 对所述初始数据进行离线ETL处 理的步骤， 具体包括： 将所述初始数据加载至基于 Hadoop集群的HDFS文件系统内的预设目录下； 在加载完毕后， 获取所述初始数据的元数据所对应目录信息， 并将所述目录信息发送 到所述关系型 数据库中进行存 储。 4.根据权利要求3所述的数据报表生成方法， 其特征在于， 所述将所述数据源加载至基 于Hadoop集群的HDFS文件系统内的预设目录下的步骤， 具体包括： 预先在所述HDFS文件系统中设置若干同级目录， 在进行所述加载时， 将所述初始数据 中各单元数据依照其对应表名或者分区信息区别加载至所述若干同级目录下； 在所述若干同级目录下分别设置若干同级的下级目录， 在进行所述加载时， 将相同表 名下的不同列名或相同分区信息下的不同列名的各单元数据区别加载至所述若干同级的 下级目录下； 所述在加载完毕后， 获取 所述初始数据的元 数据所对应目录信息的步骤， 具体包括： 在所述加载完成之后， 获取所述初始数据中各单元数据依照 其对应表名或者分区信 息 进行区别加载的目录信息， 作为第一目录信息； 在所述加载完成之后， 获取所述相同表名下的不同列名或相同分区信 息下的不同列名 的各单元数据进行区别加载的目录信息， 作为第二目录信息； 将所述第一目录信息和所述第二目录信息作为所述初始数据的元数据所对应目录信 息。 5.根据权利要求3所述的数据报表生成方法， 其特征在于， 所述基于所述数据分析维权　利　要　求　书 1/3 页 2 CN 115168471 A 2度、 数据展示指标、 数据筛 选条件和指标关联算法， 生成HQ L执行语句的步骤， 具体包括： 获取所述初始数据的元 数据所对应目录信息作为执 行库； 将所述数据分析维度、 数据展示指标、 数据筛选条件和指标关联算法分别作为执行条 件、 执行结果、 执行结果的约束条件和执行结果的关联关系， 与所述执行库共同完成HQL执 行语句的构建。 6.根据权利要求1所述的数据报表生成方法， 其特征在于， 所述获取用户在所述数据分 析界面通过点击事件选择 的数据分析维度、 数据展示指标、 数据筛选条件和指标关联算法 的步骤， 具体包括： 在所述获取用户在所述数据分析界面通过点击事件选择的数据分析维度、 数据展示指 标、 数据筛 选条件和指标关联算法的步骤之前， 包括： 在所述数据分析界面预设第一点击域、 第二点击域、 筛选条件设置域和关联算法设置 域， 其中， 所述第一点击域中包括第一搜索框和分析维度可选列 表， 所述第二点击域中包括 第二搜索框和展示指标可选列表， 所述筛选条件设置域中包括筛选条件自定义框和筛选条 件可选列表， 所述关联算法设置域中包括关联算法自定义框和关联算法可选列表； 在所述获取用户在所述数据分析界面通过点击事件选择的数据分析维度、 数据展示指 标、 数据筛 选条件和指标关联算法的步骤， 具体包括： 基于预设点击监测组件， 识别并获取用户在所述第 一点击域、 第二点击域、 筛选条件设 置域和关联算法设置域对应选择 的数据分析维度、 数据展示指标、 数据筛选条件和指标关 联算法。 7.根据权利要求6所述的数据报表生成方法， 其特征在于， 所述基于预设点击监测组 件， 识别并获取用户在所述第一点击域、 第二点击域、 筛选条件设置域和关联算法设置域对 应选择的数据分析维度、 数据展示指标、 数据筛 选条件和指标关联算法的步骤， 具体包括： 启动预设点击监测组件； 若监测到所述第一点击域存在点击请求， 对所述点击请求进行解析， 并基于解析结果 获取所述点击请求指向的所述分析维度可选列表中的至少一项数据分析维度； 若监测到所述第二点击域存在点击请求， 对所述点击请求进行解析， 并基于解析结果 获取所述点击请求指向的所述展示指标 可选列表中的至少一项数据展示指标； 若监测到所述筛选条件设置域存在点击请求， 对所述点击请求进行解析， 并基于解析 结果获取所述点击请求指向的至少一项数据筛选条件， 其中， 所述数据筛选条件可 由用户 在所述筛 选条件自定义框自定义， 或在所述筛 选条件可选列表中供用户进行点击 选择； 若监测到所述关联算法设置域存在点击请求， 对所述点击请求进行解析， 并基于解析 结果获取所述点击请求指向的至少一项指标关联算法， 其中， 所述指标关联算法可 由用户 在所述关联算法自定义框自定义， 或在所述关联算法可选列表中供用户进行点击 选择。 8.一种数据报表生成装置， 其特 征在于， 包括： 数据采集模块， 用于采集待进行分析实时数据及离线数据， 作为初始数据， 并将其存储 至预设关系型数据库； 数据转发模块， 用于基于Druid数据 连接池从所述关系型数据库中获取所述初始数据， 并发送至 Hive数据仓库； 界面初始化模块， 用于基于所述Hive数据仓库对所述初始数据进行离线ETL处理， 展示权　利　要　求　书 2/3 页 3 CN 115168471 A 3