(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211360224.4 (22)申请日 2022.11.02 (71)申请人 河海大学 地址 210024 江苏省南京市 鼓楼区西康路1 号 (72)发明人 臧海祥　刘璟璇　张越　李叶阳　 周亦洲　陈胜　韩海腾　黄蔓云　 朱瑛　卫志农　孙国强　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 李淑静 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 50/06(2012.01) (54)发明名称 基于跨模态注意力机制的超短期太阳辐射 预测方法及系统 (57)摘要 本发明公开了一种基于跨模态注意力机制 的超短期太阳辐射预测方法及系统， 方法包括： 计算地基云图帧间光流图、 晴空太阳辐射估计 值、 地基云图晴空比等重要特征； 以地基云图数 据帧间光流场为输入， 通过图像动态注意力方法 汇集地基云图动态局部特征； 基于历史太阳辐 射、 历史气象数据、 晴空太阳辐射估计值和云图 晴空比数据， 通过稀 疏自注意力方法得到历史时 序特征编码； 通过跨模态学习方法将两种特征进 行融合， 得到融合特征向量； 通过生成式解码得 到预测输出， 用以预测未来10分钟至30分钟的太 阳辐射。 本发 明可应用于部署全天空成像仪的光 伏电站， 获得高精度超短期太阳辐射预测结果， 满足电网监控与经济安全调控的需求。 权利要求书4页 说明书11页 附图3页 CN 115511220 A 2022.12.23 CN 115511220 A 1.一种基于跨模态注意力机制的超短期太阳辐射预测方法， 其特征在于， 包括以下步 骤： (1)利用Farneback光流法将灰度地基云图数据转换为帧间光流场， 基于RGB全色彩地 基云图通过红蓝像素占比计算 地基云图晴空比， 利用经验公式估计晴空太阳辐射 值； (2)对地基云图帧间光流图进行裁剪、 拼接、 嵌入， 通过自注意力机制和多层感知机提 取地基云图帧间光 流场的局部动态特 征， 得到云图动态特 征编码Eopt； (3)通过稀疏自注意力机制提取历史时序数据的时序耦合特征， 得到历史时序特征编 码Ehis， 所述历史时序数据包括历史太阳辐射Ihis、 晴空太阳辐射估计值IG、 历史温度数据 This、 历史湿度数据Hhis、 地基云图晴空比数据kc； (4)通过跨模态注意力机制将云图动态特征编码Eopt和历史时序特征编码Ehis进行融 合， 得到融合特 征向量Efus； (5)基于融合特征向量Efus和解码器输入Xde通过生成式解码得到太阳辐射超短期多步 预测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述步骤(1)中， 利用Farneback光流法将 灰度地基云图数据转换为帧间光 流场包括： 将地基云图用二次多项式来近似表示： I(X)～XTAX+bTX+c， 其中， X指的是像素的空间位 置表示(x,y)T， A、 b、 c为 二次多项式系数； 基于相邻云图的亮度不变性假设， 匹配云图相邻帧的二次多项式系数， 并作实用性调 整： I1(X)≈I2(X) 由此得到Farneback稠密光 流计算方法的目标函数， 其 函数公式为： 对目标函数进行梯度下降， 融合x轴向和y轴向的光流图， 得到连续云图帧的整体稠密 光流解。 3.根据权利要求1所述的方法， 其特征在于， 所述步骤(1)中， 基于RGB全色彩地基云图 通过红蓝像素占比计算 地基云图晴空比包括： 计算RGB全色彩地基云图各个像素位置的红蓝比矩阵RBR， 并归一化为值域为[0,1]的 正则化红蓝比矩阵NRBR， 计算式如下： 其中， R和B分别为全色彩地基云图的红色和蓝色通道下的像素矩阵； 对于得到的地基云图正则化红蓝比矩阵NRBR， 通过和预设阈值τ进行比较判断， 将晴空 区域标志为1， 云层覆盖区域标志为0， 得到地基云图全域标志位CV， 定义如下：权　利　要　求　书 1/4 页 2 CN 115511220 A 2基于地基云图全域标志位计算 地基云图全域晴空比kc， 计算式如下： kc＝∑CV/(H ×W) 其中， H与W分别为 地基云图的高度和宽度。 4.根据权利要求1所述的方法， 其特 征在于， 所述 步骤(2)包括： 将尺寸为(H,W,2)的地基云图帧间光流图在各通道上裁剪为N个尺寸为(P,P)的光流 块， 其中， N＝H ×W/P2； 将各个光流块平铺成一维向量并进行融合， 得到尺寸为(N,2P2)的光 流表征xP； 通过全连接层对各个光流块实施词嵌入操作， 嵌入维度为dmodel； 引入位置编码 Epos来区分N个光 流块的空间位置， 得到光 流特征编码方法的输入特 征z0， 定义如下： 其中， [·]为融合操作； E表示词嵌入转 化矩阵； 将特征z0输入包括自注意力机制和多层感知机的编码子模块， 并在自注意力机制和多 层感知机处理前分别实施层 归一化操作， 对自注 意力机制和多层感知机处理后得到的特征 向量附加残差连接； 在重复m次操作后， 得到云图动态特征编码 Eopt， 自第l‑1层到第l层的特 征映射， 定义如下： z′l＝MSA(LN(zl‑1))+zl‑1 zl＝MLP(LN(z′l))+z′l 其中， MSA表示多头自注意力机制编码操作， LN表示层归一化操作， MLP表示多层感知机 编码操作， 经过m层编码 操作， 选取第m层的输出作为 光流动态特 征编码Eopt＝LN(zm)。 5.根据权利要求1所述的方法， 其特 征在于， 所述 步骤(3)包括： 基于历史时序数据构建输入特征 Lx为输入时序数 据的时间步长， 根据词嵌入维度dmodel对历史时序数据作词嵌入操作； 通过稀疏自注意力 机制提取每一特征间的时序特征以及不同特征间的耦合特征， 并通 过蒸馏机制进行 特征精炼， 蒸馏机制包括 一维卷积、 激活函数以及池化操作， 定义如下： 其中， 表示第t个时间步的输入特征在第j层蒸馏 得到的特征向量， MaxPool( ·)为最 大池化操作； ELU( ·)为激活函数； Conv1d( ·)为时间维度的一维卷积操作； [ ·]AB为稀疏自 注意力机制， 所述稀疏自注意力机制选取M(qi,k)的值降序排列中前u个特征作为稀疏自注 意力机制的质询向量 其中， As(q,k,v)为稀疏注意力机制更新得到的值向量， Softmax( ·)为激活函数， v为稀 疏注意力机制的值向量Value， k为稀疏注意力机制键向量 Key， Lk为键向量的长度， 表示稀权　利　要　求　书 2/4 页 3 CN 115511220 A 3