(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111677448.3 (22)申请日 2021.12.31 (71)申请人 国网电力科 学研究院有限公司 地址 210003 江苏省南京市 鼓楼区南瑞路8 号 申请人 南京南瑞信息通信科技有限公司 　 国网山东省电力公司 　 国网山东省电力公司信息通信公司 　 国家电网有限公司 (72)发明人 席丁鼎　刘晗　邢洪涛　白万建　 王勇　徐华荣　徐康　王锦杰　 徐云珂　禚俊杰　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 代理人 张倩倩(51)Int.Cl. G06F 30/20(2020.01) G06F 9/50(2006.01) G06F 119/02(2020.01) (54)发明名称 一种电力边端模 型的性能分析方法、 装置及 存储介质 (57)摘要 本发明公开一种电力边端模型的性能分析 方法， 包括： 获取电力边端模型数据文件及其模 型类型信息； 根据模型类型信息获取测试样本数 据， 并确定模型关联的测试过程参数； 运行预先 构建的模型运行环境， 加载电力边端模型数据文 件； 将测试样本数据作为已加载的模 型的输入数 据， 运行模型， 得到模型输 出的分类结果； 按照所 述测试过程参数， 采集所述电力边端模型运行过 程的测试过程参数数据； 根据所采集的测试过程 参数数据， 确定所述电力边端模型的性能。 本发 明能够对电力边端模型进行准确可靠的性能分 析， 为边端模型的优化提供参考依据， 以更好的 用于电力应用中， 提升电网安全运行质量。 权利要求书2页 说明书7页 附图2页 CN 114297869 A 2022.04.08 CN 114297869 A 1.一种电力边端模型的性能分析 方法， 其特 征是， 包括： 获取电力边端模型 数据文件及其模型类型信息； 根据模型类型信 息获取用于模型测试的测试样本数据， 以及查询预设的关联性 能参数 表， 确定电力边端模型关联的测试过程参数； 其中所述关联性能参数表定义有模型类型与 测试过程参数的关联关系； 调用及运行预先构建的适用于电力边端模型的运行环境， 在运行环境中加载电力边端 模型数据文件； 将测试样本数据作为已加载的所述电力边端模型的输入数据， 多次运行所述电力边端 模型， 得到每次模型运行 所输出的分类结果； 按照已确定的测试过程参数， 采集所述电力边端模型每次运行过程的测试过程参数数 据； 根据对模型多次运行过程所采集的测试过程参数数据， 确定所述电力边端模型的性 能。 2.根据权利要求1所述的电力边端模型的性 能分析方法， 其特征是， 所述电力边端模型 为部署在电力行业场景的边端设备中的图像处理类模型； 模型类型包括 非目标检测模型和 目标检测模型； 所述模型类型信息由外 部通过人机交互接口输入； 所述预先构建的适用于电力边端模型的运行环境为模拟待分析电力边端模型运行场 景的软件环境和硬件环境。 3.根据权利要求2所述的电力边端模型的性能分析方法， 其特征是， 对于目标检测模 型， 所关联的测试过程参数包括模型对测试样本进行分类的AP值、 F1值、 AUC值、 误检率、 查 全率、 查准率、 检测速率， 以及模型分类过程中的硬件使用率； 对于非目标检测模型， 所关联的测试过程参数包括模型对测试样本进行分类的F1值、 AUC值、 误检率、 检出率、 检测速率， 以及模型分类过程中的硬件使用率； 所述硬件使用率包括CPU 使用率、 内存使用率和硬 盘使用率。 4.根据权利要求3所述的电力边端模型的性 能分析方法， 其特征是， 所述采集所述电力 边端模型每次运行过程的测试过程参数数据包括： 在模型分类过程中， 采集硬件使用率数 据， 在模型分类得到结果后， 根据分类结果计算 其它测试 过程参数数据。 5.根据权利要求1所述的电力边端模型的性 能分析方法， 其特征是， 所述根据 所采集的 测试过程参数数据， 确定所述电力边端模型的性能包括： 对采集到的测试 过程参数数据进行 标准化处理； 基于标准化处理后的模型多次运行的测试过程参数数据， 利用熵值法对每种测试过程 参数计算权 重系数； 基于标准化处理后的测试过程参数数据以及测试过程参数的权重系数， 根据 预先设置 的性能评分规则计算电力边端模型的性能评分。 6.根据权利要求5所述的电力边端模型的性 能分析方法， 其特征是， 所述性能评分规则 为： 模型的性能评 分结果等于所有标准化处理后的每种测试过程参数数据的平均值与权重 的乘积之和。 7.根据权利要求1所述的 电力边端模型的性能分析方法， 其特征是， 还包括： 获取外部权　利　要　求　书 1/2 页 2 CN 114297869 A 2输入的权重配置信息， 根据权重配置信息配置各测试过程参数数据的权重； 其中， 所述权重 配置信息由外 部根据电力边端模型运行场景确定； 所述根据所采集的测试过程参数数据， 确定所述电力边端模型的性能包括： 将每种测 试过程参数在 模型多次运行中的数据 平均值与测试过程参数的权重相乘， 所得乘积相加后 得到的数据作为电力边端模型的性能评分结果。 8.一种电力边端模型的性能分析装置， 其特 征是， 包括： 模型获取模块， 被 配置用于获取电力边端模型 数据文件及其模型类型信息； 样本及性 能参数确定模块， 被配置用于根据模型类型信 息获取用于模型测试的测试样 本数据， 以及查询预设的关联性能参数表， 确定电力边端模型关联的测试过程参数； 其中所 述关联性能参数表定义有模型类型与测试 过程参数的关联关系； 模型加载模块， 被配置用于调用 及运行预先构建的适用于电力边端模型的运行环境， 在运行环境中加载电力边端模型 数据文件； 模型运行模块， 被配置用于将测试样本数据作为已加载的所述电力边端模型的输入数 据， 多次运行 所述电力边端模型， 得到每次模型运行 所输出的分类结果； 参数采集模块， 被配置用于按照已确定的测试过程参数， 采集所述电力边端模型每次 运行过程的测试 过程参数数据； 以及， 模型性能确定模块， 被配置用于根据对模型多次运行过程所采集的测试过程参 数数据， 确定所述电力边端模型的性能。 9.根据权利要求8所述的电力边端模型的性 能分析装置， 其特征是， 所述模型性 能确定 模块根据所采集的测试 过程参数数据， 确定所述电力边端模型的性能， 包括： 对采集到的测试 过程参数数据进行 标准化处理； 基于标准化处理后的模型多次运行的测试过程参数数据， 利用熵值法对每种测试过程 参数计算权 重系数； 基于标准化处理后的测试过程参数数据以及测试过程参数的权重系数， 根据 预先设置 的性能评分规则计算电力边端模型的性能评分。 其中， 所述性能评分规则为： 模型的性能评分结果等于所有标准化处理后的测试过程 参数数据的平均值与权 重的乘积之和。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征是， 该计算机程序被处 理器执行时， 实现如权利要求1 ‑7任一项所述的电力边端模型的性能分析 方法。权　利　要　求　书 2/2 页 3 CN 114297869 A 3