(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210073470.5 (22)申请日 2022.01.21 (71)申请人 北京科技大 学 地址 100083 北京市海淀区学院路3 0号 (72)发明人 姚超　班晓娟　杨金汩　王笑琨　 孙金胜　 (74)专利代理 机构 北京市广友专利事务所有限 责任公司 1 1237 专利代理师 张仲波 (51)Int.Cl. G06T 7/246(2017.01) G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 20/64(2022.01) G06V 10/44(2022.01)G06V 10/48(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种单摄像头多模式视线追踪 方法和装置、 电子设备 (57)摘要 本发明公开了单摄像头多模式视线追踪方 法和装置、 电子设备， 属于 人机交互技术领域， 所 述方法包括： 通过注意力增强的自适应三维人脸 对齐方法， 将摄像头采集到的人脸信息进行对 齐； 标定人脸基准特征， 并求解视线追踪过程中 的人脸基准向量； 采用三维人脸对齐结果， 计算 面部网格上多个 关键点三角面的法向量； 以三维 人脸中心为起点表征基准投射向量， 拟合视线转 移矩阵， 得到灵活头部在三维空间中的动态基准 向量； 建立待追踪用户的特异性信息； 在持续的 视线交互过程中， 利用霍夫变换取得突出边缘的 去噪图像中的人眼虹膜数据； 依据人眼虹膜数据 和人脸基向量， 确定眼动参考向量， 完成视线追 踪， 能够提升视线追踪的时效性且对硬件设备依 赖性弱。 权利要求书2页 说明书12页 附图5页 CN 114494347 A 2022.05.13 CN 114494347 A 1.一种单摄 像头多模式视线追踪方法， 其特 征在于， 所述方法包括： 通过注意力增强的自适应三维人脸对齐方法， 将摄像头采集到的人脸信息进行对齐， 得到三维人脸对齐结果； 标定人脸基准特 征， 并求解视线追踪过程中的人脸基准向量； 采用所述 三维人脸对齐结果， 计算 面部网格上多个关键点 三角面的法向量； 以三维人脸中心为起点表征基准投射向量， 拟合视线转移矩阵， 得到灵活头部在三维 空间中的动态基准向量； 针对不同用户的交 互习惯， 对用户的特 征进行标定， 建立待追踪用户的特异性信息； 在持续的视线交互过程中， 利用霍夫变换取得突出边缘的去噪图像中的人眼虹膜数 据； 依据所述人眼虹膜数据和所述人脸基向量， 确定眼动参 考向量， 完成视线追踪。 2.根据权利要求1所述的方法， 其特征在于， 通过注意力增强的自适应三维人脸对齐方 法， 将摄像头采集到的人脸信息进行对齐， 得到三维人脸对齐结果的步骤， 包括： 确定自适应性的人脸检测方法， 并采用所确定的自适应的人脸检测方法， 采集人脸信 息； 针对摄像头采集的人脸信息， 通过多尺度卷积核提取多尺度图像感受野， 并利用变形 卷积对所述人脸信息中的人脸特 征进行提取， 确定存在变形的人脸特 征； 对所述摄像头采集的人脸信 息进行三维人脸关键点识别过程中引入注意力 机制， 得到 三维人脸对齐结果。 3.根据权利要求2所述的方法， 其特 征在于， 确定自适应的人脸检测方法的步骤， 包括： 采用两次池化和级联修 正线性单 元剔除所述摄 像头采集的人脸信息中的无关特 征点； 通过Inception的特征模块作为骨干网络获取不同结构的特 征信息； 进行形状自适应， 采用单映射多框预测方法在骨干网络后 通过几个不同的卷积核提取 不同尺度的特 征。 4.根据权利要求2所述的方法， 其特征在于， 对所述摄像头采集的人脸信 息进行三维人 脸关键点识别过程中引入注意力机制， 得到三维人脸对齐结果包括： 基于热度图的三维人脸特征提取， 采用DenseNet前两层结构提取二维关键点的特征 图， 整合特 征到69个关键点热度图， 其中， 68个是关键点， 1个是背景； 采用基于注意力机制的可堆叠残差结构进行t特 征解码。 5.根据权利要求1所述的方法， 其特征在于， 在持续的视线交互过程中， 利用霍夫变换 取得突出边缘的去 噪图像中的人眼虹膜数据； 依据所述人眼虹膜数据和所述人脸基向量， 确定眼动参 考向量， 完成视线追踪， 包括： 在持续的视线交互过程中， 基于所述人脸基准向量， 采用基于尺度固定霍夫特征的虹 膜识别方法定位眼动向量动态虹膜中心； 选取人脸关键点中具有稳定特征关键点坐标作为参考坐标， 计算出双眼的虹膜中心坐 标和人脸基准向量 三维空间信息的关键特 征； 根据人脸基准向量三维空间信 息的关键特征， 采用视线追踪回归函数完成眼动向量视 线追踪。 6.一种单摄 像头多模式视线追踪装置， 其特 征在于， 所述装置包括： 对齐模块， 用于通过注意力增强的自适应三维人脸对齐方法， 将摄像头采集到的人脸权　利　要　求　书 1/2 页 2 CN 114494347 A 2信息进行对齐， 得到三维人脸对齐结果； 标定模块， 用于标定人脸基准特 征， 并求解视线追踪过程中的人脸基准向量； 计算模块， 用于采用所述三维人脸对齐结果， 计算面部网格上多个关键点三角面的法 向量； 拟合模块， 用于以三维人脸中心为起点表征基准投射向量， 拟合视线转移矩阵， 得到灵 活头部在三维空间中的动态基准向量； 建立模块， 用于针对不同用户的交互习惯， 对用户的特征进行标定， 建立待追踪用户的 特异性信息； 追踪模块， 用于在持续的视线交互过程中， 利用霍夫变换取得突出边缘的去噪图像中 的人眼虹膜数据； 依据所述人眼虹膜数据和所述人脸基向量， 确定眼动参考向量， 完成视线 追踪。 7.根据权利要求6所述的装置， 其特 征在于， 所述对齐模块包括： 第一子模块， 用于确定自适应性的人脸检测方法， 并采用所确定的自适应的人脸检测 方法， 采集人脸信息； 第二子模块， 用于针对摄像头采集的人脸信息， 通过多尺度卷积核提取多尺度图像感 受野， 并利用变形 卷积对所述人脸信息中的人脸特 征进行提取， 确定存在变形的人脸特 征； 第三子模块， 用于对所述摄像头采集的人脸信 息进行三维人脸关键点识别过程中引入 注意力机制， 得到三维人脸对齐结果。 8.根据权利要求7所述的装置， 其特征在于， 所述第 一子模块确定自适应的人脸检测方 法时， 具体用于： 采用两次池化和级联修 正线性单 元剔除所述摄 像头采集的人脸信息中的无关特 征点； 通过Inception的特征模块作为骨干网络获取不同结构的特 征信息； 进行形状自适应， 采用单映射多框预测方法在骨干网络后 通过几个不同的卷积核提取 不同尺度的特 征。 9.根据权利要求7 所述的装置， 其特 征在于， 所述第三子模块具体用于： 基于热度图的三维人脸特征提取， 采用DenseNet前两层结构提取二维关键点的特征 图， 整合特 征到69个关键点热度图， 其中， 68个是关键点， 1个是背景； 采用基于注意力机制的可堆叠残差结构进行t特 征解码。 10.一种电子设备， 包括处理器、 存储器及存储在所述存储器上并可在所述处理器上运 行的程序或指令， 所述程序或指令被所述处理器执行时实现如权利要求1 ‑5任一项所述的 单摄像头多模式视线追踪方法的步骤。权　利　要　求　书 2/2 页 3 CN 114494347 A 3