(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111677722.7 (22)申请日 2021.12.31 (71)申请人 苏州玖合智能科技有限公司 地址 215131 江苏省苏州市相城经济技 术 开发区澄阳街道澄阳路116号阳澄湖 国际科技创业园3号楼3 05室 (72)发明人 张修文　 (74)专利代理 机构 南京科阔知识产权代理事务 所(普通合伙) 3240 0 专利代理师 苏兴建 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 40/20(2022.01) (54)发明名称 二维卷积网络用于人体动作检测的优化方 法 (57)摘要 一种二维卷积网络用于人体动作检测的优 化方法， 对于Yolov3， 步骤包 括： 1)待检测图片或 视频帧首先通过数据预处理生 成灰度图； 按照原 图的长宽比进行缩放， 将缩放后图片的像素值粘 贴到灰度图中， 没有粘贴到的部分保留灰度值不 变， 缩放后的图片中的像素值进行归一化处理； 2)将处理好的 图像数据送入Darknet ‑53网络， 提 取特征； Darknet ‑53网络的特征提取层对输入图 片进行下采样， 每个尺度上的特征图通道数是上 一尺度特征图的两倍； 各个特征提取层提取特征 经过Conv2D操作得到 特征图； 对于后三个尺度的 通道， 分别对相应通道的特征进行预测， 然后与 原通道预测结果融合后输出。 本发 明提高了二维 网络模型检测精度。 权利要求书1页 说明书2页 附图1页 CN 114511802 A 2022.05.17 CN 114511802 A 1.一种二维卷积网络用于人体动作检测的优化方法， 其特征是对于二维卷积网络 Yolov3， 步骤 包括： 1)数据处 理 待检测图片或视频帧首先通过数据预处理生成灰度图； 按照原图的长宽比进行缩放， 将缩放后图片的像素值粘贴到灰度图中， 没有粘贴到的部分保留灰度值不变， 缩放后的图 片中的像素值进行归一 化处理； 2)特征提取 将处理好 的图像数据送入Darknet ‑53网络， 提取特征； Darknet ‑53网络的特征提取层 对输入图片进行5次下采样， 每个尺度上的特征图通道数是上一尺度特征图的两倍； Darknet‑53网络的各个特 征提取层提取 特征经过Conv2D操作得到特 征图； 对于后三个尺度的通道， 分别采用改进后的Hierarchical  Bilinear网络对相应通道 的特征进行预测， 然后与原通道预测结果融合后输出； 所述改进后的Hierarchical  Bilinear网络是将三个通道生成的三个特征图相互作元 素积进行层间信息互补， 然后采用Sum  Pooling降维， 并通过 非线性变换、 L2正则化， 最后将 变换得到的特 征图进行维度拼接， 采用全连接层进行分类输出。 2.根据权利要求1所述的二维卷积网络用于人体动作检测的优化方法， 其特征是所述 步骤1)中， 灰度图是416 ×416， R， G， B＝128， 128， 128的灰度图； 缩放后的图片中的像素值除 以255进行归一 化处理。 3.根据权利要求1所述的二维卷积网络用于人体动作检测的优化方法， 其特征是所述 步骤2)中， Dar knet‑53网络对输入图片进 行5次下采样， 每个尺度上的特征图通道数是上一 尺度特征图的两倍； 这5个尺度上的残差连接个数分别为1、 2、 8、 8、 4； 并采用最后三个尺度 上的特征图作为分类连接层； 最后生成13x13、 26x26、 52x52的特 征图。权　利　要　求　书 1/1 页 2 CN 114511802 A 2二维卷积网 络用于人体动作检测的优化方 法 技术领域 [0001]本发明针对动作检测领域， 设计一种基于二维卷积神经网络的人体动作检测方 法， 用以获取目标对象行为的类别。 技术背景 [0002]随着科技的进步以及计算机性能的提升， 人工智能技术得到广泛的应用。 人体行 为检测作为人机交互、 智能视频监控中的重要技术一直是计算机视觉领域的研究热点。 实 际检测过程中存在背景复杂、 遮挡、 动作千姿百态、 动作间相识度高等问题， 使得检测任务 难度加大。 基于卷积神经网络的行为检测算法具有较强的特征提取能力和复杂场景中识别 精度高等特点得到研究人员的广泛关注。 发明内容 [0003]本发明提供一种基于二维卷积神经网络的人体动作检测模型构建方法， 以解决现 有的二维网络模型检测精度较低的问题。 [0004]本发明的技术要点主要有： (1)在二维卷积网络的特征金字塔分类网络中引入改 进后Hierarchic al Bilinear  Pooling模型， 增强层间局部特征交互。 (2)在二维卷积网络 中引入注意力机制， 提取深层次的语义信息 。 [0005]本发明具体为： 一种二维卷积网络用于人体动作检测的优化方法， 对于二维卷积 网络Yolov3， 采用如下步骤： [0006]1)数据处 理 [0007]待检测图片或视频帧首先通过数据预处理生成灰度图； 按照原图的长宽比进行缩 放， 将缩放后图片的像素值粘贴到灰度图中， 没有粘贴到的部 分保留灰度值不变， 缩放后的 图片中的像素值进行归一 化处理； [0008]2)特征提取 [0009]将处理好的图像数据送入Darknet ‑53网络， 提取特征； Darknet ‑53网络的特征提 取层对输入图片进行5次下采样， 每个尺度上的特征图通道数是上一尺度特征图的两倍； Darknet‑53网络的各个特 征提取层提取 特征经过Conv2D操作得到特 征图； [0010]对于后三个尺度的通道， 分别采用改进后的Hierarchical  Bilinear网络对相应 通道的特 征进行预测， 然后与原通道预测结果融合后输出； [0011]所述改进后的Hierarchical  Bilinear网络是将三个通道生成的三个特征图相互 作元素积进行层间信息互补， 然后采用Sum  Pooling降维， 并通过非线性变换、 L2正则化， 最 后将变换 得到的特 征图进行维度拼接， 采用全连接层进行分类输出。 附图说明 [0012]图1是本实施例的二维卷积Yo lov3网络结构图； [0013]图2是改进后的Hierarc hical Bilinear网络结构图。说　明　书 1/2 页 3 CN 114511802 A 3