(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210096259.5 (22)申请日 2022.01.26 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 王健　韩钧宇　陈金文　刘路飞　 (74)专利代理 机构 北京银龙知识产权代理有限 公司 11243 专利代理师 刘念 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像处理方法、 模型训练方法、 相关装置及 电子设备 (57)摘要 本公开提供了一种图像处理方法、 模 型训练 方法、 相关装置及电子设备， 涉及深度学习、 计算 机视觉等人工智 能技术领域。 具体实现方案为： 获取M个第一图像； 基于第一网络对所述M个第一 图像分别进行特征提取， 得到M个第一特征图； 基 于所述M个第一特征图， 确定 所述M个第一图像一 一对应的M个第一图像特征； 基于第二网络对所 述M个第一图像特征分别进行特征提取， 得到M个 第一目标分类特征， 所述第二网络的网络结构与 所述第一网络的网络结构不同； 基于所述M个第 一目标分类特征进行图像处理， 得到所述M个第 一图像的M 个第一图像处 理结果。 权利要求书3页 说明书15页 附图5页 CN 114494782 A 2022.05.13 CN 114494782 A 1.一种图像处 理方法， 包括： 获取M个第一图像， M为 正整数； 基于第一网络对所述M个第一图像分别进行 特征提取， 得到 M个第一特 征图； 基于所述M个第一特 征图， 确定所述M个第一图像一 一对应的M个第一图像特 征； 基于第二网络对所述M个第一图像特征分别进行特征提取， 得到M个第一目标分类特 征， 所述第二网络的网络结构与所述第一网络的网络结构不同； 基于所述M个第一目标分类特征进行图像处理， 得到所述M个第一图像的M个第一图像 处理结果。 2.根据权利要求1所述的方法， 其中， 所述基于所述M个第一特征图， 确定所述M个第一 图像一一对应的M个第一图像特 征， 包括： 对所述M个第一特征图分别进行卷积操作， 得到所述M个第一图像一一对应的M个第二 特征图， 所述第二特 征图的通道数量大于所述第一特 征图的通道数量； 针对每个第一图像对应的第二特征图， 获取所述第二特征图对应的目标图像特征， 所 述目标图像特 征为所述第一图像对应的第一图像特 征。 3.根据权利要求2所述的方法， 其中， 所述获取所述第二特征图对应的目标图像特征， 包括： 对所述第二特 征图进行分块处 理， 得到K个图像块， K为大于1的整数； 获取每个图像块的图像特 征； 将所述K个图像块的图像特 征进行融合， 得到所述目标图像特 征。 4.根据权利要求1所述的方法， 其中， 每个第一图像关联一个任务索引， 不同第一图像 关联的任务索引不同， 所述基于第二网络对所述M个第一图像特征分别进 行特征提取， 得到 M个第一目标分类特 征之前， 还 包括： 获取第一分类特 征； 将所述M个第一图像特 征分别与所述第一分类特 征进行融合， 得到 M个第一目标 特征； 所述基于第 二网络对所述M个第 一图像特征分别进行特征提取， 得到M个第 一目标分类 特征， 包括： 基于所述第 二网络的网络参数， 分别对每个所述第 一目标特征进行特征提取， 得到K个 第二分类特 征， K大于或等于 M； 从所述K个第二分类特 征中选取M个所述任务索引一 一对应的M个第二分类特 征； 基于M个所述任务索引一 一对应的M个第二分类特 征， 确定所述M个第一目标分类特 征。 5.根据权利要求4所述的方法， 其中， 所述基于M个所述任务索引一一对应的M个第二分 类特征， 确定所述M个第一目标分类特 征， 包括： 针对每个所述任务索引对应的第 二分类特征， 对所述第 二分类特征进行所述任务索引 对应的正则化处 理， 得到所述任务索引对应的所述第一目标分类特 征。 6.一种模型训练方法， 包括： 获取训练样本集， 所述训练样本集包括 N个第一图像， N 为大于1的整数； 将所述N个第一图像输入至目标模型进行图像处理操作， 得到所述N个第一图像的N个 第一图像处理结果； 所述 目标模型包括第一网络和第二网络， 所述第二网络的网络结构与 所述第一网络的网络结构不同， 所述图像处理操作包括： 基于所述第一网络对所述N个第一权　利　要　求　书 1/3 页 2 CN 114494782 A 2图像分别进行特征提取， 得到N个第一特征图； 基于所述N个第一特征图， 确定所述N个第一 图像一一对应的N个第一图像特征； 基于所述第二网络对所述N个第一图像特征分别进行特 征提取， 得到N个第一目标分类特征； 基于所述N个第一目标分类特征进 行图像处理， 得到所 述N个第一图像的N个第一图像处 理结果； 基于所述N个第 一图像处理结果， 更新所述目标模型中的网络参数， 所述目标模型中的 网络参数包括所述第一网络的网络参数和所述第二网络的网络参数。 7.根据权利要求6所述的方法， 每个第 一图像关联一个任务索引， 不同第 一图像关联的 任务索引不同， 所述基于所述N个第一图像处理结果， 更新所述目标模型中的网络参数， 包 括： 基于所述 N个第一图像处 理结果， 确定每 个任务索引对应的网络损失值； 基于N个所述网络损失值， 更新所述目标模型中的网络参数。 8.一种图像处 理装置， 包括： 第一获取模块， 用于获取M个第一图像， M为 正整数； 第一特征提取模块， 用于基于第一网络对所述M个第一图像分别进行特征提取， 得到M 个第一特 征图； 确定模块， 用于基于所述M个第一特征图， 确定所述M个第 一图像一一对应的M个第一图 像特征； 第二特征提取模块， 用于基于第 二网络对所述M个第 一图像特征分别进行特征提取， 得 到M个第一目标分类特 征， 所述第二网络的网络结构与所述第一网络的网络结构不同； 图像处理模块， 用于基于所述M个第一目标分类特征进行图像处理， 得到所述M个第一 图像的M个第一图像处 理结果。 9.根据权利要求8所述的装置， 其中， 所述确定模块包括： 卷积操作单元， 用于对所述M个第一特征图分别进行卷积操作， 得到所述M个第一图像 一一对应的M个第二特 征图， 所述第二特 征图的通道数量大于所述第一特 征图的通道数量； 第一获取单元， 用于针对每个第一图像对应的第二特征图， 获取所述第二特征图对应 的目标图像特 征， 所述目标图像特 征为所述第一图像对应的第一图像特 征。 10.根据权利要求9所述的装置， 其中， 所述第一获取 单元， 具体用于： 对所述第二特 征图进行分块处 理， 得到K个图像块， K为大于1的整数； 获取每个图像块的图像特 征； 将所述K个图像块的图像特 征进行融合， 得到所述目标图像特 征。 11.根据权利要求8所述的装置， 其中， 每个第 一图像关联一个任务索引， 不同第 一图像 关联的任务索引不同， 所述装置还 包括： 第二获取模块， 用于获取第一分类特 征； 融合模块， 用于将所述M个第一图像特征分别与所述第一分类特征进行融合， 得到M个 第一目标 特征； 所述第二特 征提取模块包括： 特征提取单元， 用于基于所述第二网络的网络参数， 分别对每个所述第一目标特征进 行特征提取， 得到K个第二分类特 征， K大于或等于 M； 第二获取单元， 用于从所述K个第二分类特征中选取M个所述任务索引一一对应的M个权　利　要　求　书 2/3 页 3 CN 114494782 A 3