(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210513520.7 (22)申请日 2022.05.12 (71)申请人 吉林省吉林祥云信息技 术有限公司 地址 130000 吉林省长 春市净月开发区吉 视传媒信息枢纽 中心B座20层 (72)发明人 张弘力　宋进　徐光洋　刘周　 孙赫然　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 姜明君 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/70(2022.01) G06V 40/20(2022.01) G06V 10/44(2022.01)G06V 10/74(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) (54)发明名称 一种基于双分支注意力机制TCN的时序分析 方法 (57)摘要 本发明属于时序分析领域， 公开一种基于双 分支注意力机制TCN的时序分析方法。 步骤1： 对 输入视频的时间序列数据进行输入嵌入处理； 步 骤2： 基于步骤1的输入嵌入， 利用双分支注意力 时序模块组进行特征提取； 步骤3： 基于步骤2的 特征数据， 采用视频行为分析的下游任务分支进 行处理。 用以解决现有技术在处理时序数据时远 距离依赖建模能力不足的问题。 权利要求书2页 说明书4页 附图1页 CN 115063710 A 2022.09.16 CN 115063710 A 1.一种基于双 分支注意力 机制TCN的时序分析方法， 其特征在于， 所述 时序分析方法包 括以下步骤： 步骤1： 对输入视频的时间序列数据进行输入嵌入处 理； 步骤2： 基于步骤1的输入嵌入， 利用双分支 注意力时序模块组进行 特征提取； 步骤3： 基于步骤2的特 征数据， 采用视频 行为分析的下游任务分支进行处 理。 2.根据权利要求1所述一种基于双分支注意力机制TCN的时序分析方法， 其特征在于： 所述步骤1具体为， 所述输入的时间序列数据还可以为音频、 文本或图像； 将时间长度为t的时序数据嵌入到 c维的稀疏空间。 3.根据权利要求1所述一种基于双分支注意力机制TCN的时序分析方法， 其特征在于： 所述步骤2的双分支注意力时序模块用于对时间序列数据进行特征提取， 每个时序模块将 输入序列从输入维度映射到更高的维度空间； 双分支注意力时序模块组包含4个时序模块， 每个所述时序模块均包括因果膨胀残差 连接分支和全局注意力分支。 4.根据权利要求3所述一种基于双分支注意力机制TCN的时序分析方法， 其特征在于： 所述双分支注意力时序模块处理过程中数据的维度变化过程如下： 将网络模型的输入时序 数据表示为{x1， x2， x3， ...， xn}， 记为X1×n， 首先输入数据的每一个节点被嵌入到c维空间， 嵌 入结果记为Xc×n， 之后再通过时序模块进行处理， 数据 经过四层时序模块处理过程中， 维度 变化表示 为 X1×n→Xc1×n→Xc2×n→Xc3×n→Xc4×n＝Xout。 5.根据权利要求4所述一种基于双分支注意力机制TCN的时序分析方法， 其特征在于： 所述时序模块需对稀疏因果残差分支和全局注意力分支的特征提取结果进 行特征融合， 表 示为 Xtemporal_bl ock＝Xcausal_di lated+Xglobal_residual 其中， Xtemporal_block表示时序模块的输出数据， Xcausal_dilated表示稀疏因果差分支的输出 数据， Xglobal_residual表示全局注意力分支的输出 数据。 6.根据权利要求3所述一种基于双分支注意力机制TCN的时序分析方法， 其特征在于： 所述因果膨胀残差连接分支由2层因果膨胀卷积和2个残差连接构成； 其中， 因果膨胀卷积 部分保持了原始TCN中的结构设置； 残差连接由线性层、 softmax和归一化层组成， 用于提取 因果卷积层输出 结果间的相似度和依赖性； 该分支的计算过程表示 为 Xcausal_di lated＝flinear1(Xcd1)+flinear2(Xcd2)+Xcd2 其中， Xcausal_dilated表示稀疏因果残差分支的输出数据， flinear1， flinear2表示残差连接计 算， Xcd1， Xcd2表示稀疏因果卷积层的输出 数据。 7.根据权利要求3所述一种基于双分支注意力机制TCN的时序分析方法， 其特征在于： 所述全局注意力分支具体为， 首先通过一层一维的卷积 从时间序列数据中提取特征， 然后对卷积层的特征提取结果 进行位置编码， 因为时间序列中的位置信息是预测后续状态的关键所在， 所以在编码时结 合了序列中的全局位置信息； 其次， 带有位置编码的特征输入到多头注意力层， 用以提取时序 数据中的全局 依赖性， 同时， 添加一个包 含一维卷积运 算的残差连接， 用于提高全局注意力的训练收敛速度；权　利　要　求　书 1/2 页 2 CN 115063710 A 2该分支的计算过程表示 为 Xglobal_residual＝Xglobal_attention+Xconv1d 其中， Xglobal_residual表示全局注意力分支的输出结果， Xglobal_attention表示全局注意里层 的输出结果， Xconv1d表示一维卷积运 算的输出 结果。 8.根据权利要求3所述一种基于双分支注意力机制TCN的时序分析方法， 其特征在于： 所述步骤3的下游任务分支根据不同的任务采用不同的分支处 理。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执 行存储器上所存放的程序时， 实现权利要求1 ‑8任一所述的方法步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质内存储有计算机 程序， 所述计算机程序被处 理器执行时实现权利要求1 ‑8任一所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 115063710 A 3