(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210510768.8 (22)申请日 2022.05.11 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 王志皓　姜立标　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 周春丽 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/74(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) (54)发明名称 一种基于轻量化卷积神经网络的人脸识别 方法 (57)摘要 本发明提供的一种基于轻量化卷积神经网 络的人脸识别方法， 包括： 采集若干人脸图像， 并 分别标定每个人脸图像的特征点， 存作人脸样本 数据集； 通过参考图像和人脸样 本本数据集训练 ERT模型， 以得到人脸形状； 定位好人脸的待测图 像和人脸样本数据集均输入轻量化卷积神经网 络AGCNet， 分别得到待测图像的底层特征向量和 人脸样本数据集中每个人脸样本的底层特征向 量； 将待测图像的底层特征向量依次和人脸样本 的底层特征向量进行相似性度量判断， 得到人脸 识别结果。 本发 明能够减少识别模 型的大小和参 数计算量， 并且具 备较高的识别准确率。 权利要求书3页 说明书12页 附图3页 CN 114998958 A 2022.09.02 CN 114998958 A 1.一种基于轻量 化卷积神经网络的人脸识别方法， 其特 征在于， 包括以下步骤： 采集若干人脸图像， 并分别标定每 个人脸图像的特 征点， 存作人脸样本数据集； 通过参考图像和人脸样本 本数据集训练ERT模型， 以得到人脸形状； 将待测图像输入训练好的ERT模型， 定位待测图像中的人脸， 并截取待测图像定位得到 的人脸； 将截取的待测人脸和人脸样本数据集均输入轻量化卷积神经网络AGCNet， 分别得到待 测图像的底层特征向量和人脸样本数据集中每个人脸样本的底层特征向量， 其中， 轻量化 卷积神经网络AGCNet的结构中包括多个残差注意力模块， 残差注意力模块的步长不同， 每 个残差注意力模块均包括倒残差块和注意力模块， 倒残差块和注意力模块的输入相同， 倒 残差块能够对特 征图进行分组卷积和通道混洗， 注意力模块能够挖掘深层特 征； 将待测图像的底层特征向量依次和人脸样本的底层特征向量进行相似性度量判断， 得 到人脸识别结果。 2.根据权利要求1所述的一种基于轻量化卷积神经网络的人脸识别方法， 其特征在于， 所述ERT模型包括回归模型和与回归模型级联的决策树， 回归模型用于对人脸的特征点进 行初步定位， 决策树用于基于初步定位 来判定人脸特 征点的位置， 得到人脸形状。 3.根据权利要求2所述的一种基于轻量化卷积神经网络的人脸识别方法， 其特征在于， 所述回归 模型采用级联线性回归、 级联 形状回归和支持向量回归中任一种。 4.根据权利要求2所述的一种基于轻量化卷积神经网络的人脸识别方法， 其特征在于， 所述决策树采用梯度提升决策树， 所述梯度提升决策树的工作过程 为： 梯度提升决策决策进行分裂， 分裂规则如式所示： 式中， 代表第k级决策树第u层叶子节点的取值， Iu(a)是决策树第u层的样本， Iu(b)是决策树第u层的平均形状， τ为分裂阈值， 为k级回归器rk对图像Iu的预测结果， θ为 特征池参数； 完成分裂以后， 每一个参考图像都会落入其中一个叶节点， 计算每一个参考图像的当 前形状与真实形状的差值， 再将同一个叶节点的所有差值作平均， 即为该叶节点保存的残 差， 在建立新的树之前， 要对原有的预测形状进行更新， 对于加法模型， 则是原形状与残差 相加， 每一 步模型更新如下： 式中， 代表加法模型， 代表第m层叶子节点， 也就是叶节点保存 的残 差 εnm， ηm为学习率； 经过反复迭代， 模型趋于收敛或者超过规定的迭代次数后输出， 将得到的加法模型作 为每一级回归器， 则： 权　利　要　求　书 1/3 页 2 CN 114998958 A 2其中， 指模型第M次迭代后的结果， rk是第k级回归器。 5.根据权利要求4所述的一种基于轻量化卷积神经网络的人脸识别方法， 其特征在于， 梯度提升决策树的级回归器互相独立， 每级的特征池参数随机生成， 已知加法模型 的每一 步更新决策树目标残差为 为预测结果与真实形状的差值， 采用最小平方差法， 设Q为某节点样本数量， μθ,l及 μθ,r分别为分裂后预测结果的残差， 则 此 随机生成的特 征池参数θ 对应的平方差为 其中,E(Q, θ )为左右节点中样本的拟合平方差之和， εp为第p棵决策树计算出的残差， μθ,s＝ μθ,l或μθ,r， l,r分别为左右节点，Qθ为确定特征池参数θ情况下的某节点样本数量， s为 固定系数； 当决策树目标残差等于分裂后预测结果的残差时， 分裂参数最小。 即分裂后预测结果 等于左右子树各叶节点样本集的残差平均值时， 分裂结果 最优， 节点 最优分裂参数为： Qθ,l、 Qθ,r为确定特 征池参数θ情况 下决策树某一层的左右 节点的样本数量。 6.根据权利要求1所述的一种基于轻量化卷积神经网络的人脸识别方法， 其特征在于， 轻量化卷积神经网络AGCNet的结构依次包括第一通道扩增卷积层、 第一逐通道卷积层、 所 述多个残差注意力模块、 第二通道扩增卷积层、 第二逐通道卷积层和通道混合卷积层， 第一 通道扩增卷积层用于对输入图像进行 空间压缩和通道扩增， 第一逐通道卷积层用于对初步 对图像提取特征， 残差注意力模块用于提取深层特征， 第二通道扩增卷积层用于对每个图 像的输出通道数进行统一， 第二逐通道卷积层用于把特征空间尺寸变为1 ×1， 通道混合卷 积层用于作通道信息的融合， 以加强通道方向上的联系。 7.根据权利要求1所述的一种基于轻量化卷积神经网络的人脸识别方法， 其特征在于， 所述残差注意力模块包含两种不同类型 的反向倒残差块， 包括步长为1的倒残差块和步长 为2的倒残差块， 每个倒残差块均包括分组卷积操作、 通道混洗、 逐通道卷积和1 ×1卷积操 作， 其中， 步长为1的倒残差块中， 1 ×1卷积操作后得到的结果与与输入特征图相加后作为 该倒残差块的输出， 步长为2的倒残差块中， 1 ×1卷积操作后得到的结果为该倒残差块的输 出。 8.根据权利要求1所述的一种基于轻量化卷积神经网络的人脸识别方法， 其特征在于， 在包含了步长为1的倒残差块的残差注意力模块中， 其所设置的注意力模块为通道注意力 模块， 所述通道注意力模块对输入进行全局池化操作、 1 ×1卷积、 激活函数保持非线性及1 ×1卷积操作， 在包含了步长为2的倒残差块的残差注意力模块中， 其所设置的注意力模块 包括通道注意力子模块和空间注意力子模块， 通道注意力子模块对输入进行全局池化操 作、 1×1卷积、 激活函数保持非线性、 批归一化操作和激活函数保持非线性操作， 空间注意 力子模块对输入做全局平均池化和全局最大值池化并取平均值。 9.根据权利要求1 ‑8任一所述的一种基于轻量化卷积神经网络的人脸识别方法， 其特权　利　要　求　书 2/3 页 3 CN 114998958 A 3