金融行业标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211021980.4 (22)申请日 2022.08.24 (71)申请人 中能融合智慧科技有限公司 地址 100013 北京市东城区和平里东 街11 号航星科技园8号楼西侧3层 (72)发明人 王海 徐琳 艾宇飞 贺铮  张克铭 张展翔 刘国华 路亚骏  张昊 郑钦  (74)专利代理 机构 安徽爱信德专利代理事务所 (普通合伙) 34185 专利代理师 张翠英 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/12(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 20/00(2019.01) G06F 17/18(2006.01) G06F 16/25(2019.01) G06F 16/27(2019.01) G06F 16/28(2019.01) G06F 16/2458(2019.01) G06Q 50/06(2012.01) (54)发明名称 一种面向能源行业的时序数据规范化治理 方法 (57)摘要 本发明涉及能源 行业, 公开了一种面向能源 行业的时序数据规范化治理方法, 依托数据采集 平台、 数据存储 管理平台和数据分析治理平台实 现, 其中数据采集平台通过采集接口程序采集风 电、 光伏、 水电、 火电等发电生产时序数据以及煤 炭、 石油、 天然气等能源 行业的生产时序数据; 所 述存储管理平台对应和时序数据相关的主要有 时序库存储及结构化数据存储模块; 所述数据分 析治理平台包括进行数据质量稽核的算法模型 管理和建模运行的数据分析模块, 以及包括数据 编码、 数据资产目录及数据服务等的数据治理模 块。 本发明主要针对时序数据中缓变类时序数 据, 具有实时性强、 使用便利, 评估准确的特点, 能够有效提高时序数据质量和时序数据治理的 规范性。 权利要求书1页 说明书4页 附图1页 CN 115238823 A 2022.10.25 CN 115238823 A 1.一种面向能源行业的时序数据规范化治理方法, 其特征在于, 对包括压力、 温度、 液 位等缓变类的时序数据进行 数据中断和数据死值的数据质量 规范化治理。 2.根据权利要求1所述的面向能源行业的时序 数据规范化治理方法, 其特征在于, 源端 数据采集到Kafka中间件后, 从Kafka采集保存到时序库、 HBase库及Redis的过程中, 对刚入 时序库/HBase库的时序数据同时执行数据质量稽核任务, 通过执行训练后的机器学习稽核 算子模型, 对温度、 压力等 缓变类时序模拟量数据按机组和分类进 行数据质量稽核, 并将稽 核结果保存到 关系库, 最后统一以数据服务的形式提供带有 数据中断和数据死值标签的时 序数据服 务。 3.根据权利要求1所述的面向能源行业的数据质量治理方法, 其特征在于, 通过数据分 析模块实现适用于数据质量稽核处理的包括遗传算法、 神经网络和回归分析在内的机器学 习算法模型, 以模型准确度为评估依据, 对不同缓变类传感器时序数据适用不同的算法模 型, 通过在 入库阶段执行算法模型实现对时序数据源端的数据中 断和数据死值进 行快速质 量稽核。 4.根据权利要求3所述的数据分析模块实现的算法模型及其样本数据, 其特征在于, 其 用于模型训练的历史样本数据通过人工方法对已有的历史数据按照机组及缓变传感器进 行分类, 依照持续时间、 中断特征、 死值特征、 相关性等特征标记数据中断特征标签和数据 死值特征标签, 最终形成模型训练的样本库, 为上述机器学习算法模型 的训练提供数据预 处理支持。权 利 要 求 书 1/1 页 2 CN 115238823 A 2一种面向能源 行业的时序数据规范 化治理方法 技术领域 [0001]本发明涉及能源行业技术领域, 具体为一种面向能源行业时序数据的数据质量规 范化治理方法。 背景技术 [0002]能源行业时序数据的主 要特征: [0003](1)时序数据静态属性:包括时序测点名称、 类型、 描述、 零点、 量程、 单位等静态信 息, 时序数据静态信息一般 很少变化。 [0004](2)时序数据动态属性:包括时间戳、 数据值和质量三部分, 数据动态信息是时序 数据的核心和关键, 随着时间的变化不断变化, 并且这些变化的信息都 需要长期保存, 历史 数据可以长 达几十年。 [0005](3)实时性:主要是指对时序数据 采集、 处理、 分析速度的要求。 能源时序数据中包 含着很多实时性数据, 数据的分析结果也往往具有实时性要求, 这需要能源管理系统有较 快的响应速度和强大的数据处 理分析能力。 [0006](4)高密度:能源时序数据模拟量数据一般为秒级存储数据, 部分 高频数据为毫秒 级甚至更高, 因此 形成海量的设备历史时序数据。 [0007]传统对时序数据的分析和治理主要依托在应用层的人工分析来去除坏质量数据 和数据异常时间段数据, 耗时耗力, 效率低适应性弱, 通过借助目前主流的A I分析等人工智 能先进技术的应用, 通过对已经收集的时序历史数据以及结构化数据信息等能源大数据进 行分析建立样本, 建立机器学习等数据质量稽核算法模型实现对数据质量的标记和处理, 提供更准确有效的数据信息对业务应用提供支撑。 例如, 如果及时发现源端的数据采集中 断, 就可以及时剔除问题时段数据或采 取续传等措施, 提高数据统计分析准确性; 也可以对 一些保持直线不变化的测点数据, 分析是否传感器异常, 从而提升数据可靠性。 所以就需要 一种面向能源行业的时序数据规范化治理方法。 发明内容 [0008]本发明的目的在于提供一种对能源行业缓变类时序数据的数据中断和数据死值 情况进行 数据质量稽核的规范化治理方法; [0009]本发明是这样实现的: [0010]一种面向能源行业的时序数据规范化治理方法, 依托数据采集平台、 数据存储管 理平台和数据分析治理平台实现, 其中数据采集平台通过采集接口程序采集风电、 光伏、 水 电、 火电等发电生产时序数据以及煤炭、 石油、 天然气等能源行业的生产时序数据; 所述存 储管理平台对应和时序数据相关的主要有时序库存储及结构化数据存储模块; 所述数据分 析治理平台包括算法模型管理和建模运行 的数据分析模块, 以及包括数据编码、 数据质量 评估、 数据资产目录及数据服 务等的数据治理模块。 [0011]能源行业的时序数据包括基于时间序列的各种传感器测量数据, 包括功率、 电压、说 明 书 1/4 页 3 CN 115238823 A 3

PDF文档 专利 一种面向能源行业的时序数据规范化治理方法

文档预览
中文文档 7 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共7页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种面向能源行业的时序数据规范化治理方法 第 1 页 专利 一种面向能源行业的时序数据规范化治理方法 第 2 页 专利 一种面向能源行业的时序数据规范化治理方法 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-24 00:59:13上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。