(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210471987.X (22)申请日 2022.04.29 (71)申请人 陕西师范大学 地址 710062 陕西省西安市长安 南路199号 (72)发明人 马苗　邱佳宝　王哲　裴炤　 杨楷芳　 (74)专利代理 机构 西安永生专利代理有限责任 公司 61201 专利代理师 郝燕燕 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/74(2022.01)G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 21/31(2013.01) G06V 20/00(2022.01) (54)发明名称 基于人脸识别技术的学习场景实时身份认 证方法 (57)摘要 一种基于人脸识别技术的学习场景实时身 份认证方法， 由人脸检测、 人脸识别两个模块构 成。 人脸检测模 块采用MoblieNetV1_0.25作为主 干网络来提取人脸特征、 ATSS采样方法作为正样 本的采样方式、 Generalized  Focal Loss优化分 类和回归分支。 人脸识别模块采用用轻量级主干 网络MobileFacenets提取对齐后的人脸特征、 MV‑Softmax损失函数自适应调节错误样本、 增强 特征的区分度和挖掘易错样本。 本发 明提出了一 种实时人脸识别方法， 用于对学习场景中的学习 者进行实时的身份认证， 具有精度高、 速度快的 优势。 权利要求书3页 说明书7页 附图3页 CN 114882558 A 2022.08.09 CN 114882558 A 1.基于人脸识别技 术的学习场景实时身份认证方法， 其特 征在于， 包括如下步骤： S1:数据预处 理 采集学习场景学习者视频数据集， 根据学习场景学习者视频数据集生成学习场景中人 脸检测数据集FDL、 学习场景中人脸识别数据集FRL， 从学习场景中人脸检测数据集FDL中取 原始图片分为数量呈一定比例的训练集和测试集， 将图片调整为统一大小； 从学习场景中 人脸识别数据集FRL中取原始图片分为数量呈一定比例的训练集和测试集， 将图片调整为 统一大小； S2:构建人脸检测网络， 人脸检测网络由主干网分支、 特征融合分支、 检测头分支依次 相连构成； 1)构建主干网分支 将学习场景中人脸检测数据集FDL的训练集中的每张图片输入到特征MobileNetV1_ 0.25网络中提取 特征图， 得到基础特 征图集合{C1， C2， C 3， C4， C5}； 2)构建特 征融合分支 将基础特征图集合{C1， C2， C3， C4， C5}输入到特征金字塔中进行特征融合， 得到融合特 征图集合{P3， P4， P5， P6， P7}， 将融合特征图集合{P3， P4， P5， P6， P7}中的特征图输入到尺度均 衡金字塔模块对不同尺度特 征进行进一 步融合得到增强后的特 征图集合{N3， N4， N5， N6， N7}； 3)构建检测头分支， 检测头分支包括回归分支和分类分支； 首先构建回归分支， 具体方法如下： 先将增强后的特征图集合{N3， N4， N5， N6， N7}中的每个特征图上的像素点设置面积依次 为[64,128,256,512,1024]， 长宽比为1的锚， 然后将增强后的特征图集合{N3， N4， N5， N6， N7} 中每个特征图经过t次数的卷积操作， 得到大小为H ×W×a(n+1)的特征图， H为特征图的高， W为特征图的宽， a为锚框的回归值， n 为积分集 合的最大值； 其次构建 分类分支， 具体方法如下： 将增强后的特征图集合{N3， N4， N5， N6， N7}中的每个特征图经过t次卷积操作， 得到大小 为H×W×C的特征图， C为检测类别； 最后确定人脸检测网络的损失L： L＝Lcls+Lbox+Ldfl 式中， Lcls为类别损失， Lbox为预测框回归损失， Ldfl为分布损失； 通过类别损 失、 预测框回归损 失、 分布损 失对主干网分支和特征融合分支提取到的特 征向量优化， 利用随机梯度下降算法进行反向传播并对网络参数进行 更新； S3:构建人脸识别网络 1)构建主干网分支 将学习场景中人脸识别数据 集FRL的训练集 中的每张图片经MobileFaceNets网络提取 特征， 每张人脸图片生成512维度的特 征向量； 2)通过MV ‑Softmax损失函数对主干网分支提取到的特征向量优化， 增强不同特征的区 分度和进行反向传播； 人脸识别网络损失通过MV ‑Softmax损失函数定义如下：权　利　要　求　书 1/3 页 2 CN 114882558 A 2式中， k为第k个类别， x为待分类的向量， s为尺度超参数， ω为权重向量， y为第y个类 别， m为误差角度的最小间隔距离， py是预测的后验概率， g(py)函数用以对难样本进行挖掘， Ik为指示函数， 用以动态的指定一个样本是否被误分类， 是对误分类样本的加 权函数， 是权重向量与待分类向量的误差角度； S4:训练人脸检测网络和人脸识别网络 训练人脸检测网络的方法如下： 将学习场景中人脸检测数据集FDL中的训练集、 对应的标签文件和ImageNet网络上的 预训练输入到人脸检测网络中进 行训练， 得到人脸检测模型； 在训练过程中， 设置初始学习 率R， 使用SGD优化器对模型进行优化， 训练时， 每次迭代使图片数量为B1， 总的迭代次数为 E1， 学习率在K1 1、 K12个epoc h之后衰减为10‑1R、 10‑2R； 训练人脸识别网络的方法如下： 将学习场景中人脸识别数据集FRL中的训练集、 对应的标签文件和ImageNet网络上的 预训练输入到人脸识别网络中进 行训练， 得到人脸识别模型， 在训练过程中， 设置初始学习 率为D， 使用SGD优化器对模型进行优化， 训练时， 每次迭代使用图片数量为B2， 总的迭代次 数为E2， 学习率在K21、 K2 2、 K23个epoc h之后衰减为10‑1D、 10‑2D、 10‑3D； S5:保存权 重文件 人脸检测模型和人脸识别模型均在F轮迭代后保存 优化后的权 重文件； S6:测试实时身份认证 1)人脸检测 测试 将保存的人脸检测权重文件、 测试数据集以及对应的标签文件输入到人脸检测网络中 进行测试， 用非极大值抑制和置信度阈值的方法对人脸检测网络输出进 行后处理得到人脸 检测结果， 利用真实目标框和预测目标框计算mAP值对人脸检测结果的精度和速度定量评 价； 2)人脸识别测试 将保存的人脸识别权重文件、 测试数据集以及对应的标签文件输入到人脸识别网络中 进行测试并得到识别结果， 计算真实人脸标签与预测人脸标签的余弦相似度值， 通过置信 度阈值的方法对识别结果的精度进行定量评价。 2.根据权利要求1所述的基于人脸识别技术的学习场景实时身份认证方法， 其特征在 于： 所述步骤S1中学习场景中人脸检测数据集FDL的训练集和测试集数量比为9:1或8:2或 7： 3， 采用双线性插值将图片大小统一调整为416 ×416； 所述学习场景中人脸识别数据集 FRL的训练集和测试集数量比为9:1或8:2或7： 3， 采用双线性插值将图片大小统一调整为 112×112。 3.根据权利要求1所述的基于人脸识别技术的学习场景实时身份认证方法， 其特征在 于： 所述步骤S2的构 建回归分支中{ N3， N4， N5， N6， N7}中每个特征图经过t次数的卷积操作， t权　利　要　求　书 2/3 页 3 CN 114882558 A 3