(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111266955.8 (22)申请日 2021.10.2 9 (65)同一申请的已公布的文献号 申请公布号 CN 113705067 A (43)申请公布日 2021.11.26 (73)专利权人 中国电力科 学研究院有限公司 地址 100192 北京市海淀区清河小营东路 15号 (72)发明人 王继业　蒲天骄　周翔　陈盛　 王新迎　 (74)专利代理 机构 北京中巡通大知识产权代理 有限公司 1 1703 代理人 李晓晓 (51)Int.Cl. G06F 30/25(2020.01)G06F 30/27(2020.01) G06Q 10/04(2012.01) G06Q 10/06(2012.01) G06Q 50/06(2012.01) G06N 3/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 111/04(2020.01) G06F 111/08(2020.01) (56)对比文件 CN 106505633 A,2017.0 3.15 CN 106507398 A,2017.0 3.15 US 2013190938 A1,2013.07.25 WO 2016078329 A1,2016.0 5.26 审查员 刘晨曦 (54)发明名称 一种微网优化运行策略生成方法、 系统、 设 备及存储介质 (57)摘要 本发明公开了一种微网优化运行策略生成 方法、 系统、 设备及存储介质， 包括： 建立深度确 定性策略梯度算法下的神经网络模 型； 以微网总 运行成本最低以及新能源消纳程度最大为优化 目标， 基于分类经验回放机制， 采用 深度确定性 策略梯度算法对神经网络模型进行优化； 利用优 化后的神经网络模型生成微网优化运行策略， 该 方法、 系统、 设备及存储介质计算的复杂程度较 低， 且不依赖新能源出力及负荷的精确建模。 权利要求书2页 说明书8页 附图4页 CN 113705067 B 2022.02.18 CN 113705067 B 1.一种微网优化 运行策略生成方法， 其特 征在于， 包括： 针对微网， 获取深度确定性策略梯度算法的状态空间S， 所述深度确定性策略梯度算法 的状态空间S包括 风光发电出力、 用户负荷量、 分时段电价、 锂电池荷电状态以及所处时段； 将深度确定性策略梯度算法的状态空间S输入到优化后的神经网络模型， 以生成微网 优化运行策略， 其中， 在 对神经网络模 型进行优化的过程中， 以微网总运行成本最低以及新 能源消纳程度最大为优化 目标， 基于分类经验回放机制， 采用深度确定性策略梯度算法对 神经网络模型进行优化； 深度确定性策略梯度算法中的五元组为 （S、 A、 L、 r、 γ） ， 其 中， S为状态空间， A为动作空 间， L为状态转移概 率， r为奖励函数， γ为 折扣因子； 动作空间A包括 微型燃气轮机出力及锂电池充放电功率； 在对神经网络模型进行优化的过程中， 当存在弃风、 弃光情况或者动作、 状态不满足约 束时， 则对神经网络模型进行优化过程中的奖励函数为： 其中， F1(t)为t时刻弃风/弃光惩罚， F2(t)及F3(t)为t时刻可控设备动作及状态越限惩 罚。 2.根据权利要求1所述的微网优化运行策略生成方法， 其特征在于， 在对神经网络模型 进行优化的过程中， 当没有弃风弃光以及状态动作越限的情况时， 则对神经网络模型进行 优化过程中的奖励函数为： 其中， 为t时间段微网的总运行成本， d为 正数。 3.根据权利要求2所述的微网优化运行策略生成方 法， 其特征在于， 微网总运行成本 为： 其中， 为微网中微型燃气轮机在t时段的发电成本， CWT(t)为风机在t时段的发 电成本， CPV(t)为光伏在t时段的发电成本， CP(t)为t时段微网向外部电网的购售电成本， CS (t)为储能成本， T为总的调度时间段， Ng为微网中微型燃气轮机的台数。 4.根据权利要求1所述的微网优化运行策略生成方法， 其特征在于， 弃风/弃光惩罚F1 (t)为： 其中， Cw为弃风成本系数， Cp为弃光成本系数， PWT_C(t)为弃风 量， PPV_C(t)为弃光 量。 5.根据权利要求4所述的微网优化运行策略生成方法， 其特征在于， 可控设备动作及状 态越限惩罚 F2及F3分别为：权　利　要　求　书 1/2 页 2 CN 113705067 B 2其中， ω1,i、 ω2,i、 δ1,i及δ2,i为动作及状态的越限惩罚系数， ai,upmax及ai,downmax分别为爬 坡率的上下限， bimin及bimax分别为微型燃气轮机出力、 联络线功率、 储能充放电功率及储能 状态约束的上 下限。 6.一种实现如权利要求1所述 微网优化 运行策略生成方法的系统， 其特 征在于， 包括： 获取模块 （4） ； 用于针对微网， 获取深度确定性策略梯度算法的状态空间S， 所述深度确 定性策略梯度算法的状态空间S包括风光发电出力、 用户负荷量、 分时段电价、 锂电池荷电 状态以及所处时段； 生成模块 （3） ， 用于将深度确定性策略梯度算法的状态 空间S输入到优化后的神经网络 模型， 以生成微网优化运行策略， 其中， 在对神经网络模型进行优化的过程中， 以微网总运 行成本最低以及新能源消纳程度最大为优化 目标， 基于分类经验回放机制， 采用深度确定 性策略梯度算法对神经网络模型进行优化。 7.根据权利要求6所述的系统， 其特 征在于， 还 包括： 建立模块 （1） ， 用于建立深度确定性策略梯度算法下的神经网络模型； 优化模块 （2） ， 用于以微网总运行成本最低以及新能源消纳程度最大为优化目标， 基于 分类经验回放机制， 采用深度确定性策略梯度算法对神经网络模型进行优化。 8.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1至 5任一项所述 微网优化 运行策略生成方法的步骤。 9.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至5任一项 所述微网优化运行策略生 成方法的步骤。权　利　要　求　书 2/2 页 3 CN 113705067 B 3