(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111681590.5 (22)申请日 2021.12.2 9 (71)申请人 四川大学 地址 610000 四川省成 都市一环路南 一段 24号 申请人 国网宁夏电力有限公司电力科 学研 究院　 国网宁夏电力有限公司 　 国家电网公司西北分部 (72)发明人 王吉利　邱高　薛飞　丁茂生　 王小立　李宏强　孙小湘　摆世彬　 程林　任冲　张钢　柯贤波　 刘俊勇　王天翔　 (74)专利代理 机构 成都时誉知识产权代理事务 所(普通合伙) 5125 0 专利代理师 李双(51)Int.Cl. G06F 30/20(2020.01) (54)发明名称 一种基于深度强化学习的输电断面极限传 输能力控制方法 (57)摘要 本发明公开了一种基于深度强化学习的输 电断面极限传输能力控制方法， 涉及电网技术领 域， 本发明针对计及暂态稳定约束的断面传输容 量难以实时调控的问题， 提出一种基于深度强化 学习的极限传输能力自动控制方法。 考虑到异步 强化学习算法需要对大量实际和仿真工况进行 “试错”学习， 若使用计算效率较低的传统物理模 型计算的极限传输能力将导致异步强化学习算 法训练时间过长的问题， 基于神经网络建立了极 限传输能力控制模型与异步强化学习算法的快 速交互环 境， 在实现实时极限传输能力估计的同 时， 极大加速 了异步强化学习算法训练过程。 权利要求书2页 说明书7页 附图2页 CN 114462205 A 2022.05.10 CN 114462205 A 1.一种基于深度强化学习的输电断面极限传输能力控制方法， 其特征在于， 包括以下 步骤： S1： 根据获取的输电系统运行条件， 判断断面功率传输是否安全， 若是， 则结束测试， 若 否， 则进入步骤S2； S2： 根据输电系统运行条件中发电机、 母线和断面集合， 建立包括有断面安全约束和电 网约束的极限传输能力控制模型、 极限传输能力计算模型， 将极限传输能力控制模型带入 极限传输能力计算模型， 计算出极限传输能力； S3： 将极限传输能力控制模型修改为交互式马尔科夫决策过程模型， 基于异步强化学 习算法， 建立交互式马尔科夫决策过程模型与输电系统的交互环境， 交互式马尔科夫决策 过程模型在与环境交互中与 异步强化学习算法 并行学习最优决策， 对极限传输能力进 行快 速估计。 2.根据权利要求1所述的一种基于深度强化学习的输电断面极限传输能力控制方法， 其特征在于， 所述 步骤S2中包括有断面 安全约束和电网约束的极限传输能力控制模型为： 极限传输能力控制模型目标函数和电网约束： 其中， 和 分别表示发电机、 母线和断面集合； ρ 为发电机单位容量调节成本系数 向量， Pg、 Qg分别表示第g 台发电机的有功和无功发电量； 断面安全约束： Γij,l为极限传输 能力值， ∈≥0为人为设定的目标安全裕度； λ是负荷增长标量； l是 断 面集合增长标量； 控制变量x和状态变量y的组织结构： Vi、 θi分别表示母线i的电压和相角。 3.根据权利要求2所述的一种基于深度强化学习的输电断面极限传输能力控制方法， 其特征在于， 所述 步骤S2还 包括以下步骤； S21： 建立包括有控制变量和状态变量的极限传输能力控制模型； S22： 建立包括有动态稳定约束的极限传输能力计算模型； S23： 将步骤S2 1中的控制变量和状态变量代入步骤S22中， 计算出输电系统的最大负荷 水平、 最大负荷水平下的断面传输功率、 最大负荷水平下的极限传输能力。 4.根据权利要求1所述的一种基于深度强化学习的输电断面极限传输能力控制方法， 其特征在于， 所述 步骤S22中包括有动态稳定约束的极限传输能力计算模型为：权　利　要　求　书 1/2 页 2 CN 114462205 A 2(X， Y|0)≡(x， y) 其中, 和 分别为负荷和预想事故集； δg和ωg分别为第g台发电机的功角 和角速度； Gc 和 ψc分别表示预想事故c扰动后暂态过程( τ0, τend]期间的系统 的微分代数方程和不等式约 束； (·| λ )表示在 λ负荷水平运行 条件下， 基于指定的负荷增长模式。 5.根据权利要求1所述的一种基于深度强化学习的输电断面极限传输能力控制方法， 其特征在于， 所述S3中将极限传输能力控制模型修改为交互式马尔科夫决策过程模型， 即 将极限传输能力控制模型中的控制变量和状态变量分别设为动作和状态。 6.根据权利要求5所述的一种基于深度强化学习的输电断面极限传输能力控制方法， 其特征在于， 所述步骤S 3中， 还建立有 数据驱动模型， 所述数据驱动模 型用于实现马尔科夫 决策过程模型在环境交 互时能够实时反馈 。 7.根据权利要求6所述的一种基于深度强化学习的输电断面极限传输能力控制方法， 其特征在于， 所述步骤S 3中， 还建立有 奖励值模 型， 所述奖励值模型用于使交互式马尔科夫 决策过程模型在环境交 互中与异步强化学习算法学习到全局最优策略。权　利　要　求　书 2/2 页 3 CN 114462205 A 3