(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210101604.X (22)申请日 2022.01.27 (71)申请人 杭州行熠科技有限公司 地址 311121 浙江省杭州市余杭区仓前街 道鼎创财富中心 2幢8层80 34室 (72)发明人 唐亚　李福萌　郑祖丽　曹金霞　 赵永富　吴刚　 (74)专利代理 机构 北京酷爱智慧知识产权代理 有限公司 1 1514 专利代理师 何忠仪 (51)Int.Cl. G16H 50/20(2018.01) G16H 20/70(2018.01) G06V 40/18(2022.01) G06V 40/19(2022.01)G06V 10/28(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/246(2017.01) G06T 7/73(2017.01) (54)发明名称 一种眼球追 踪方法及系统 (57)摘要 本发明提供一种眼球追踪 方法及系统， 包括 获取待处理的面部图像， 对所述待处理的面部图 像进行归一化处理； 定位归一化的面部图像中的 眼睛位置， 确定眼睛范围； 将眼睛范围内瞳孔和 周边颜色的颜色值进行二值化， 采用预先定义的 RGB颜色模型， 通过基于RGB颜色模型的 图像提取 方法与图像的二值化相结合的方法， 找到去除瞳 孔附近噪声图像的位置信息； 从而获得瞳孔相对 于眼睛的位置坐标。 该追踪 方法及系统降低硬件 设备的要求， 能够实时、 准确地记录人们在不同 场景下观察信息时眼球的运动情况， 在心理、 教 育等领域有广大应用前 景。 权利要求书2页 说明书5页 附图1页 CN 114464313 A 2022.05.10 CN 114464313 A 1.一种眼球追踪方法， 其特 征在于， 包括： 获取待处 理的面部图像， 对所述待处 理的面部图像进行归一 化处理； 定位归一 化的面部图像中的眼睛位置， 确定眼睛范围； 将眼睛范围内瞳孔和周边颜色的颜色值进行二值化， 采用预先定义的RGB颜色模型， 通 过基于RGB颜色模型的图像提取方法与图像的二值化相结合的方法， 找到去除瞳孔附近噪 声图像的位置信息； 获得瞳孔相对于眼睛的位置坐标。 2.根据权利要求1所述的方法， 其特征在于， 所述对待处理 的面部图像进行归一化处理 包括： 采集原始面部图像并缩放所述原 始面部图像的尺寸至预设特定值， 获得放缩图像； 计算所述 放缩图像的像素的均值和方差值； 获取所述放缩图像的每一个像素值， 将所述放缩图像的每一个像素值与其均值相减， 再除以方差， 获得归一 化面部图像； 其中， 所述采集的原始面部 图像通过安装有摄像头的终端设备拍摄获得， 并为采集的 原始面部图像添加标签， 按照对应标签进行存 储。 3.根据权利要求1所述的方法， 其特征在于， 所述定位面部 图像中的眼睛位置， 确定 眼 睛范围包括： 将经过归一化处理后的面部图像输入预 先建立的深度学习模型， 提取眼睛图像特 征； 将眼睛图像特 征生成的特 征图维度放缩到计算获取的维度； 将放缩后的眼睛图像特征输入均 方误差损失函数进行计算， 定义检测框与 标签值的误 差系数为p1， 置信度损失为p2， 关键点损失和的误差系数为p3； 其中， p1＞p2＞p3； 根据p1、 p2和p3获取损失值； 根据损失值获取损失值梯度并进行反 向传播， 获得眼睛整体定位结果和单点准确位置 信息； 基于眼睛整体定位结果和单点 准确位置信息， 确定眼睛范围。 4.根据权利要求3所述的方法， 其特征在于， 所述将经过归一化处理后的面部图像输入 预先建立的深度学习模型， 提取眼睛图像特 征包括： 将经过归一化处理后的面部图像输入预先建立的深度学习 模型， 通过所述深度 学习模 型中的卷积神经网络对输入的归一 化图像信息进行深度学习； 根据所述深度学习的结果 提取所述眼睛图像特 征； 其中， 所述深度学习模型基于面部图像数据训练获得。 5.根据权利要求3所述的方法， 其特征在于， 所述将眼睛图像特征生成的特征图维度放 缩到计算获取的维度包括： 将所述特 征图的维度放缩到(5+c+2*k)维度； 其中， 5为检测框的坐标x， y， w， h和置信度， c为物体 类别， k为想要获取的关键点数量。 6.如权利要求1所述的方法， 其特 征在于， 所述RGB颜色模型通过 下式定义： (R(x,y)‑G(x,y))+(R(x,y) ‑B(x,y))>T 式中， R、 G、 B分别代表红色、 绿色和蓝色， 即三基色； R(x,y)为红色分量 的值， G(x,y)为权　利　要　求　书 1/2 页 2 CN 114464313 A 2绿色分量的值， B(x,y)为蓝色 分量的值， T为所选取的阈值。 7.如权利要求1所述的方法， 其特征在于， 所述通过基于RGB颜色模型的图像提取方法 与图像的二 值化相结合的方法， 找到去除瞳孔附近噪声图像的位置信息包括： 对眼睛范围内的瞳孔和周边非 瞳孔区域的颜色值并进行降噪和二值化处理， 获得灰度 增强后的二 值化图像； 提取瞳孔在二值化图像中眼睛范围内的位置信息矩阵A； 在矩阵A中， 瞳孔区域色彩值 为1， 非瞳孔区域色彩值 为0； 令： 式中， IMR矩阵为RGB颜色模型的原始RGB图像中红基色层的各像素的值； IMG矩阵指RGB 颜色模型的原始RGB图像中绿基 色层的各像素的值； IMB矩阵指RGB颜色模 型的原始RGB图像 中蓝基色层的各像素的值； 通过上式分别去除了不同色层中除瞳孔区域外其 他区域的噪声图像。 8.一种眼球追踪系统， 其特 征在于， 包括： 处理模块， 用于获取待处 理的面部图像， 对所述待处 理的面部图像进行归一 化处理； 范围确定模块， 用于 定位归一 化的面部图像中的眼睛位置， 确定眼睛范围； 追踪模块， 用于将眼睛范围内瞳孔和周边颜色的颜色值进行二值化， 采用预先定义的 RGB颜色模型， 通过基于RGB颜色模型的图像提取方法与图像的二值化相结合的方法， 找到 去除瞳孔附近噪声图像的位置信息； 定位模块， 用于获得瞳孔相对于眼睛的位置坐标。权　利　要　求　书 2/2 页 3 CN 114464313 A 3