(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210503763.2 (22)申请日 2022.05.10 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 张宇　 (74)专利代理 机构 北京三友知识产权代理有限 公司 11127 专利代理师 谢层层　徐焕 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/141(2022.01) G06V 10/74(2022.01) (54)发明名称 自动曝光数据处 理方法、 装置、 设备及系统 (57)摘要 本说明书提供一种自动曝光数据处理方法、 装置、 设备及系统， 通过多模态图像帧识别多模 态中的目标对象， 再利用其他模态目标位置弥补 了当背光或者过爆等特殊情况下主模态检测受 影响情况下自动曝光调节缺失指导， 导致会出现 反向错误调节情况， 提升了自动曝光调节的准确 性。 同时， 通过场景感知确定自动包括目标， 快速 确定调节方向， 从而提升了自动曝光调节的效 率， 为后续 生物识别奠定 了准确的数据基础。 权利要求书3页 说明书15页 附图3页 CN 114998957 A 2022.09.02 CN 114998957 A 1.一种自动曝光数据处 理方法， 所述方法包括： 对接收到的多模态图像帧进行目标检测， 确定所述多模态图像帧中每一个模态上的目 标对象； 从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象； 将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧图像 的历史主目标对象进 行匹配， 若 所述历史主目标对象与所述多模态图像帧中每一个模态上 的目标对象均不同， 则将所述主目标对象作为调节目标对象； 根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象在对应模态上的位 置， 计算所述调节目标对象对应的目标有效亮度； 根据所述目标有 效亮度、 所述调节目标对象在对应模态上的位置以及所述多模态图像 帧对应的自动曝光目标， 对所述多模态图像帧进行自动曝光调节。 2.如权利要求1所述的方法， 所述根据所述多模态图像帧中主模态的图像亮度和所述 调节目标对象在对应模态上的位置， 计算所述调节目标对象对应的目标有效亮度， 包括： 若所述调节目标对象在主模态中， 则根据 所述调节目标对象在所述主模态中的位置以 及所述主模态的图像亮度， 计算所述调节目标对象对应的目标有效亮度； 若所述调节目标对象不在所述主模态中， 则根据 所述调节目标对象所在的模态上的位 置将所述调节目标对象映射到所述主模态对应的位置处， 根据所述主模态中映射的图像位 置以及所述主模态的图像亮度， 计算所述调节目标对象对应的目标有效亮度。 3.如权利要求2所述的方法， 所述根据所述多模态图像帧中主模态的图像亮度和所述 调节目标对象在对应模态上的位置， 计算所述调节目标对象对应的目标有效亮度， 包括： 根据所述调节目标对象在所述主模态中的位置或所述调节目标对象在所述主模态中 映射的图像位置， 确定出 所述调节目标对象在所述主模态中的目标区域； 将所述调节目标对象的遮挡物从所述目标区域中删除， 获得所述调节目标对象对应的 有效区域； 根据所述主模态的图像亮度， 计算所述有效区域的亮度作为所述调节目标对象对应的 目标有效亮度。 4.如权利要求1所述的方法， 在将所述多模态图像帧中每一个模态上的目标对象与所 述多模态图像帧的前一帧图像的历史主目标对象进行匹配时， 所述方法还 包括： 若所述历史主目标对象与 所述多模态图像帧中至少一个目标对象相同， 则将所述历史 主目标对象对应在所述多模态图像帧中的目标对象作为所述调节目标对象。 5.如权利要求1所述的方法， 所述方法还 包括： 在接收到所述多模态图像帧后， 对所述多模态图像帧进行场景感知， 确定所述多模态 图像帧对应的目标场景； 根据所述多模态图像帧对应的目标场景， 确定出所述多模态图像帧对应的自动曝光目 标。 6.如权利要求1所述的方法， 所述方法还 包括： 若在对接收到的多模态图像帧进行目标检测时， 没有检测目标对象， 且连续没有检测 到目标对象的帧数小于预设阈值， 则锁定所述多模态图像帧之前最近的一帧检测到目标对 象的历史多模态图像帧的自动曝光 参数。权　利　要　求　书 1/3 页 2 CN 114998957 A 27.如权利要求1所述的方法， 所述从所述多模态图像帧中每一个模态上的目标对象中 选择主目标对象， 包括： 根据各个目标对象的位置、 大小以及距离确定出 所述主目标对象。 8.如权利要求1所述的方法， 所述从所述多模态图像帧中每一个模态上的目标对象中 选择主目标对象之前， 所述方法还 包括： 根据所述多模态图像帧中每一个模态上的目标对象的坐标位置， 将不同模态中属于同 一个对象的目标对 象进行关联， 获得关联目标对 象集， 每个关联目标对 象集中包括至少一 个模态的目标对象； 从每个关联目标对象集中选择一个作为备选目标对象； 所述从所述多模态图像帧中每一个模态上的目标对象中选择主目标对象， 包括： 从各个备选目标对象中选择 所述主目标对象； 所述将所述多模态图像帧中每一个模态上的目标对象与所述多模态图像帧的前一帧 图像的历史主目标对象进行匹配， 包括： 将所述多模态图像帧的前一帧图像的历史主目标对象与各个所述备选目标对象进行 匹配。 9.一种自动曝光数据处 理装置， 所述装置包括： 目标检测模块， 用于对接收到的多模态图像帧进行目标检测， 确定所述多模态图像帧 中每一个模态上的目标对象； 主目标选择模块， 用于从所述多模态图像帧中每一个模态上的目标对象中选择主目标 对象； 目标调节模块， 用于将所述多模态图像帧中每一个模态上的目标对象与所述多模态图 像帧的前一帧图像的历史主目标对象进行匹配， 若所述历史主目标对象与所述多模态图像 帧中每一个模态上的目标对象均不同， 则将所述主目标对象作为调节目标对象； 亮度计算模块， 用于根据所述多模态图像帧中主模态的图像亮度和所述调节目标对象 在对应模态上的位置， 计算所述调节目标对象对应的目标有效亮度； 自动曝光调节模块， 用于根据所述目标有效亮度、 所述调节目标对象在对应模态上的 位置以及所述多模态图像帧对应的自动曝光目标， 对所述多模态图像帧进行自动曝光调 节。 10.如权利要求9所述的装置， 所述亮度计算模块具体用于： 若所述调节目标对象在主模态中， 则根据 所述调节目标对象在所述主模态中的位置以 及所述主模态的图像亮度， 计算所述调节目标对象对应的目标有效亮度； 若所述调节目标对象不在所述主模态中， 则根据 所述调节目标对象所在的模态上的位 置将所述调节目标对象映射到所述主模态对应的位置处， 根据所述主模态中映射的图像位 置以及所述主模态的图像亮度， 计算所述调节目标对象对应的目标有效亮度。 11.一种自动曝光数据处理设备， 包括： 至少一个处理器以及用于存储处理器可执行指 令的存储器， 所述处 理器执行所述指令时实现权利要求1 ‑8任一项所述的方法。 12.一种自动曝光数据处理系统， 包括： 图像采集模块和图像处理模块， 其中所述图像 采集模块用于采集多模态图像帧， 所述图像处理模块包括至少一个处理器以及用于存储处 理器可执行指令的存储器， 所述处理器执行所述指令时实现权利要求1 ‑8任一项所述的方权　利　要　求　书 2/3 页 3 CN 114998957 A 3