(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210932287.6 (22)申请日 2022.08.04 (71)申请人 国网江苏省电力有限公司苏州供电 分公司 地址 215000 江苏省苏州市 劳动路555号 (72)发明人 孟凡军　王震宇　薛劲松　 (74)专利代理 机构 苏州创元专利商标事务所有 限公司 3210 3 专利代理师 乔峰 (51)Int.Cl. H04L 9/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 3/00(2006.01) (54)发明名称 一种基于强化学习和脉冲网络的电力网络 入侵检测方法 (57)摘要 本发明公开了一种基于强化学习和脉冲网 络的电力网络入侵检测方法， 包括： 以强化学习 的方式对网络入侵检测问题建立深度学习模型， 所述深度学习模 型利用神经网络进行判断， 神经 网络包括线性网络和脉冲神经网络； 依据入侵检 测的数据集构建强化学习的多元 组， 使用智能体 与环境进行交互并将数据以多元组为单位存入 经验回放单元， 以实现所述经验回放单元的轨迹 采样； 所述神经网络通过智能体提取输入特征， 利用采样的轨迹进行线性网络的训练与脉冲神 经网络参数的更新， 进而得到优化的判断结果。 本发明提供的强化学习入侵检测方法利用脉冲 神经网络， 使得模型判别具有更强的生物学基础 和鲁棒性， 并提高了入侵 检测的准确率。 权利要求书2页 说明书6页 附图2页 CN 115473674 A 2022.12.13 CN 115473674 A 1.一种基于强化学习和脉冲网络的电力网络入侵检测方法， 其特征在于， 包括以下步 骤： 以强化学习的方式对网络入侵检测问题建立深度学习模型， 并初始化环境， 所述深度 学习模型利用神经网络进行判断， 所述神经网络包括线性网络和脉冲神经网络， 其中脉冲 神经网络作为线性网络的激活函数； 依据入侵检测的数据集构建强化学习的多元组， 多元组包括状态值、 智能体的判断、 奖 励值以及环境返回的下一个状态值， 其中所述状态值包括数据集中的多个输入特征， 所述 智能体的判断包括对于当前输入数据 受到攻击类型 的判断， 在智能体做出决策之后， 环境 才给出下一个状态值， 所述奖励值 为通过智能体决策获得的对应奖励； 使用智能体与环境进行交互并将数据以多元组为单位存入经验回放单元， 以实现所述 经验回放单元 的轨迹采样； 所述神经网络通过智能体提取输入特征， 利用采样的轨迹进行 线性网络的训练与脉冲神经网络参数的更新， 进 而得到优化的判断结果。 2.根据权利要求1所述的电力网络入侵检测方法， 其特征在于， 所述智能体决策获得的 对应奖励的计算 函数如下： A.系统被入侵， 智能体判定为被入侵且类型判断准确： 智能体得到奖励值a； B.系统被入侵， 智能体判定为被入侵且类型判断错 误： 智能体得到奖励值b； C.系统被入侵， 智能体判定为未被入侵： 智能体得到奖励值c； D.系统未被入侵， 智能体判定为未被入侵： 智能体得到奖励值d； E.系统未被入侵， 智能体判定为被入侵： 智能体得到奖励值e； 其中， a>b>0， a>d>0， c <e<0。 3.根据权利要求1所述的 电力网络入侵检测方法， 其特征在于， 所述输入特征包括TCP 连接的基本特征、 TCP连接的内容特征、 基于时间的网络流量特征及基于主机的网络流量统 计特征； 所述深度学习模型根据所述数据集的输入特征将入侵检测的判断结果归结为若干 类标签， 所述标签包括正常数据、 拒绝服务攻击、 探查攻击、 未授权的本地超级用户特权访 问和远程主机的未授权访问。 4.根据权利要求2所述的电力网络入侵检测方法， 其特征在于， 假设当前时间步为k， 对 于智能体的输入特征， 采用动态统计均值方差的方式进行数据的标准化， 以得到标准化的 输入特征； 生成一个0至1之间的随机数， 若 该随机数小于预设的随机探索概率， 则随机输出 一个判断值， 否则将标准 化的输入特 征作为智能体的输入传入所述神经网络 。 5.根据权利要求4所述的电力网络入侵检测方法， 其特征在于， 采用以下公式得到智能 体的判断， 其中， 对应训练的智能体； Ni对应第i层线性网络， i＝1,2, …； P对应脉冲神经单元； 对应标准 化的输入特 征， yk对应智能体的判断； 依据奖励计算函数计算智能体获得的奖励， 然后获得环境给出的下一个观测值， 以构 成一个多元组。 6.根据权利要求5所述的电力网络入侵检测方法， 其特征在于， 使用深度 学习模型计算 所述输入特征对应轨迹的时序差分误差， 将相应的多 元组和时序差 分误差一起存入经验回权　利　要　求　书 1/2 页 2 CN 115473674 A 2放单元。 7.根据权利要求6所述的电力网络入侵检测方法， 其特征在于， 对所述经验回放单元采 取带权重的经验回放， 所述经验回放单元里 的每条轨迹都对应一个采样概率， 当所述经验 回放单元中的轨 迹数目达 到预先设置数目时， 优先替换采样概 率最低的轨 迹。 8.根据权利要求1所述的电力网络入侵检测方法， 其特征在于， 使用随机梯度 下降方法 更新所述线性网络的权值。 9.根据权利要求1所述的电力网络入侵检测方法， 其特征在于， 使用粒子群方法对所述 脉冲神经网络进行 更新。 10.根据权利要求1所述的电力网络入侵检测方法， 其特征在于， 所述智能体的激活函 数采取的是基于L IF神经元的脉冲神经网络 。权　利　要　求　书 2/2 页 3 CN 115473674 A 3