(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211138976.6 (22)申请日 2022.09.19 (65)同一申请的已公布的文献号 申请公布号 CN 115272423 A (43)申请公布日 2022.11.01 (73)专利权人 深圳比特微电子科技有限公司 地址 518051 广东省深圳市南 山区粤海街 道高新南六道航盛科技大厦801 (72)发明人 陈军　张乐　杨作兴　周承涛　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 莎日娜 (51)Int.Cl. G06T 7/269(2017.01) G06V 10/774(2022.01) (56)对比文件 CN 114913098 A,202 2.08.16 CN 10810 6603 A,2018.0 6.01CN 114494087 A,202 2.05.13 CN 114009041 A,202 2.02.01 CN 111401411 A,2020.07.10 CN 111340867 A,2020.0 6.26 JP WO20210 39578 A1,2021.0 3.04 US 201918 8863 A1,2019.0 6.20 徐 倩等.基 于双向光 流估计的高动态范围 图像去模糊. 《中国体 视学与图像分析》 .2019,第 24卷(第4期),342- 351. 许金元.动态环境下多媒体 视频兴趣区的自 动捕获系统设计. 《现代电子技 术》 .2016,第39卷 (第16期),1- 5. 张淑军 等.基 于彩色-深度视频和CLD S的手 语识别. 《数据采集与处 理》 .2019,91-9 9. Hazem Rashed 等.BEV- MODNet: Mo nocular Camera based Bird ’s Eye View Movi ng Object Detecti on for Auto nomous Drivi ng. 《Computer Visi on and Pat tern Recognition》 .2021,1- 6. 审查员 安静 (54)发明名称 一种训练光流估计模 型的方法、 装置和可读 存储介质 (57)摘要 本发明实施例提供了一种训练光流估计模 型的方法、 装置和可读 存储介质。 所述方法包括： 获取RGB图像帧序列以及所述RGB图像帧序列中 相邻两帧 的RGB图像对应的光流标签； 将所述RGB 图像帧序列中的每个RGB图像转换为第一RAW图 像； 对所述第一RAW图像增加随机噪声， 得到第二 RAW图像； 构建训练数据集， 所述训练数据集中包 括多对训练数据和每对训练数据对应的光流标 签， 所述训练数据集中的一对训练数据包括连续 两帧的第二RAW图像； 利用所述训练数据集训练 光流估计模 型。 本发明实施例可以提高训练的光 流估计模型的鲁棒性和泛化性， 以及提高光流估 计的效率。 权利要求书3页 说明书17页 附图4页 CN 115272423 B 2022.12.16 CN 115272423 B 1.一种训练光 流估计模型的方法， 其特 征在于， 所述方法包括： 获取RGB图像帧序列以及所述RGB图像帧序列中相邻两帧的RGB图像对应的光 流标签； 将所述RGB图像帧序列中的每 个RGB图像转换为第一RAW图像； 对所述第一RAW图像增 加随机噪声， 得到第二RAW图像； 构建训练数据集， 所述训练数据集中包括多对训练数据和每对训练数据对应的光流标 签， 所述训练数据集中的一对训练数据包括连续两帧的第二RAW图像； 利用所述训练数据集训练光 流估计模型； 所述将所述RGB图像帧序列中的每 个RGB图像转换为第一RAW图像， 包括： 将所述RGB图像帧序列中的每个RGB图像输入依次连接的多个预置模块中的第一个预 置模块， 所述依次连接的多个预置模块中的各预置模块基于各自的控制参数对接收到的输 入信息进行逆处理， 所述依次连接的多个预置模块中的最后一个预置模块输出所述RGB图 像对应的第一RA W图像； 其中， 所述第一个预置模块的输入信息为所述 RGB图像， 除所述第一 个预置模块外的其 他预置模块的输入信息为上一个预置模块的输出信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述依次连接的多个预置模块依次包括： 全局色调映射逆处理模块、 伽马校正逆处理模块、 颜色矫正逆处理模块、 白平衡逆处理模 块、 以及拜尔排列逆处 理模块。 3.根据权利要求1所述的方法， 其特征在于， 所述对所述第一RAW图像增加随机噪声， 得 到第二RAW图像， 包括： 根据所述第一RAW图像以及预设范围内均匀分布 的第一随机数和第二随机数， 计算方 差值； 根据所述方差值构建随机噪声； 根据所述第一RAW图像、 构建的所述随机噪声、 以及预置的相机传感器相 关系数， 生成 第二RAW图像。 4.根据权利要求1所述的方法， 其特征在于， 所述利用所述训练数据集训练光流估计模 型， 包括： 从所述训练数据集中获取当前迭代的一对训练数据； 将所述当前迭代的一对训练数据输入光流估计模型， 通过所述光流估计模型输出所述 当前迭代的一对训练数据对应的光 流预测值； 根据所述光流预测值与所述当前迭代的一对训练数据对应的光流标签， 计算当前迭代 的模型损失值； 根据所述模型损失值调整所述 光流估计模型的模型参数， 并进入下一轮迭代； 在到达迭代停止条件时得到训练完成的光 流估计模型。 5.根据权利要求4所述的方法， 其特征在于， 所述当前迭代的一对训练数据包括第i帧 第二RAW图像和第i +1帧第二 RAW图像， 所述光流估计模 型包括相关性计算模块、 迭代推理模 块、 以及上下文编码模块， 所述将所述当前迭代的一对训练数据输入光流估计模 型， 通过所 述光流估计模型输出 所述当前迭代的一对训练数据对应的光 流预测值， 包括： 将所述第i帧第二RAW图像和所述第i+1 帧第二RAW图像输入所述相关性计算模块， 通过 所述相关性计算模块分别提取所述第i帧第二RAW图像和所述第i+1帧第二RAW图像的特征 矩阵， 并计算 提取的两个特 征矩阵之间的相关性矩阵；权　利　要　求　书 1/3 页 2 CN 115272423 B 2将所述相关性矩阵经 过多级池化层处 理， 得到多 级特征； 将所述第i帧第 二RAW图像输入所述上下文编码模块， 通过所述上下文编码模块提取所 述第i帧第二RAW图像的上 下文特征； 将上一轮迭代的光流预测值、 所述第i帧第二RAW图像的上下文特征、 以及所述多级特 征输入所述迭代推理模块； 所述迭代推理模块根据 所述上一轮迭代的光流预测值对所述多级特征进行光流采样， 得到所述第i帧第二RA W图像和所述第i +1帧第二 RAW图像之间的运动特征， 并根据所述运动 特征、 所述迭代推理模块在上一轮迭代中的隐含状态、 以及所述第i帧第二RAW图像的上下 文特征， 计算当前迭代的光 流预测值。 6.根据权利要求5所述的方法， 其特征在于， 所述迭代推理模块包括依次连接的N个迭 代更新子模块， N为大于或等于1的整 数， 所述根据所述运动特征、 所述迭代推理模块在上一 轮迭代中的隐含状态、 以及所述第i帧第二RAW图像的上下文特征， 计算当前迭代的光流预 测值， 包括： 将所述运动特征和所述第 i帧第二RAW图像的上下文特征输入所述迭代推理模块中的N 个迭代更新子模块， 并且前一个迭代更新子模块的输出作为后一个迭代更新子模块的输 入； 所述N个迭代更新子模块分别根据接收到的数据， 迭代更新各自的隐含状态； 所述N个迭代更新子模块分别将各自的隐含状态输入至一个输出为2通道的卷积层， 得 到每个迭代更新子模块输出的当前迭代的光 流预测值。 7.根据权利要求6所述的方法， 其特征在于， 所述根据所述光流预测值与所述当前迭代 的一对训练数据对应的光 流标签， 计算当前迭代的模型损失值， 包括： 将所述N个迭代更新子模块输出的N个光流预测值分别与所述当前迭代的一对训练数 据对应的光 流标签计算模型损失值， 得到N个模型损失值； 对所述N个模型损失值 求平均， 得到当前迭代的模型损失值。 8.一种光 流估计方法， 其特 征在于， 所述方法包括： 获取待计算的一对RAW图像， 所述待计算的一对RAW图像包括相机传感器输出的连续两 帧的RAW图像； 将所述待计算的一对RAW图像输入训练完成的光流估计模型， 由所述光流估计模型输 出所述待计算的一对RAW图像对应的光流预测值； 其中， 所述训练完成的光流估计模型根据 上述权利要求1至7中任一所述的训练光 流估计模型的方法训练得到 。 9.根据权利要求8所述的方法， 其特 征在于， 所述方法还 包括： 对所述训练完成的光 流估计模型输出的光 流预测值进行二 值化处理； 根据二值化处理的结果确定所述连续两帧的RAW图像中前一帧RAW图像的运动区域。 10.一种训练光 流估计模型的装置， 其特 征在于， 所述装置包括： RGB图像获取模块， 用于获取RGB图像帧序列以及 所述RGB图像帧序列中相邻两帧的RGB 图像对应的光 流标签； 图像转换模块， 用于将所述RGB图像帧序列中的每 个RGB图像转换为第一RAW图像； 增加噪声模块， 用于对所述第一RAW图像增 加随机噪声， 得到第二RAW图像； 数据集构建模块， 用于构建训练数据集， 所述