(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210483567.3 (22)申请日 2022.05.06 (65)同一申请的已公布的文献号 申请公布号 CN 114581910 A (43)申请公布日 2022.06.03 (73)专利权人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 黎柳欢　 (74)专利代理 机构 北京保识知识产权代理事务 所(普通合伙) 11874 专利代理师 汪浩 (51)Int.Cl. G06V 20/69(2022.01) G06V 10/30(2022.01) G06V 10/74(2022.01)G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 刘素兵 (54)发明名称 一种结合立体匹配与深度学习的显微针孔 视图降噪方法 (57)摘要 本发明公开了一种结合立体匹配与深度学 习的显微针孔视图降噪方法， 属于图像降噪方法 技术领域； 具体包括以下步骤： S1、 立体匹配： 将 同一场景中不同视角下捕获的显微针孔视图与 其相对应的中心视图一同输入立体匹配模块中 进行立体匹配工作， 得到其视图差； S2、 图像块配 对： 根据视图差来搜索各视图中所有 图像块， 计 算相似度， 并获取与之配对的图像块， 形成训练 对； S3、 图像训练： 将图像块训练对输入CARE去噪 网络中， 训练后获得图像块的网络权重； S4、 去噪 结果预测： 基于S3中所 获得的网络权重对测试图 像进行处理， 预测图像的去噪结果。 本发明相较 于市面上现有设计， 针对显微针孔视图的去噪速 度更快， 去噪效果更好。 权利要求书2页 说明书10页 附图5页 CN 114581910 B 2022.07.12 CN 114581910 B 1.一种结合立体匹配与深度学习的显微针孔视图降噪方法， 其特征在于， 具体包括以 下步骤： S1、 立体匹配： 将同一场景中不同视角下捕获的显微针孔视图与其相对应的中心视图 一同输入立体匹配模块中进行立体匹配工作， 得到显微针孔视图与中心视图之间的视图 差； 所述S1中提到的基于立体匹配算法的视 图差计算涉及主成分项与边缘项匹配代价计 算， 具体包括以下内容： A1、 基于主成分分析思想， 用两个大小为C的向量之间的距离来代替噪声图像图像块上 的欧氏距离， 中C是主成分的数量， r2是图像块大小； 由此， 定义匹配代价计算的第 一项为： （1） （1） 式中， Pi是以像素i为 中心的图像块； PX和PC分别表示任意视角X和中心视角C两 张噪 声视图中的图像块； d表示估计的视差值； 是投影函数， 用于获取降维后地图像块所对应 的系数； A2、 定义一个描述 边缘信息的概念引入到模糊核计算中， 具体定义 为： （2） （2） 式中， 分别代表像素的水平、 竖直梯度； 分母中加0.5是为了防止 在低纹理区域产生大的MI响应； A3、 基于所述A2中所定义的描述概念进一步定义边缘描述符， 所述边缘描述符的具体 定义为： （3） 将 （3） 式作为匹配代价计算的第二项； A4、 联立 （1） 、 （3） 式， 完整的匹配代价计算 函数可定义为： （4） （4） 式中， 是一个调整参数， 用于平衡主成分项和边 缘信息项的影响； A5、 利用所述A4中所得的 （4） 式进行主成分项和边缘信息项之间匹配代价的计算， 完成 显微针孔视图与其相对应的中心视图之间的立体匹配工作， 获取视图差数据； S2、 图像块配对： 根据所述S1中得到的视图差来搜索各视图中所有图像块， 计算相似 度， 并获取与之配对的图像块， 形成训练对； S3、 图像训练： 将所述S2中所得的图像块训练对输入CA RE去噪网络中对其进行训练， 训 练后获得图像块的网络 权重； S4、 去噪结果预测： 基于所述S3中所获得的网络权重对测试图像进行处理， 预测图像的权　利　要　求　书 1/2 页 2 CN 114581910 B 2去噪结果。 2.根据权利要求1所述的一种结合立体匹配与深度学习的显微针孔视图降噪方法， 其 特征在于， 所述S2中提到的图像块配对具体包括以下内容： B1、 基于显微针孔视图越靠近中心位置， 图像噪声含量越小的特性， 在中心视图中寻找 与参考图像块 为相似的图像块， 据此提出一种新的相似度函数 S， 具体为： （5） (5)式中， Pi、 Pj、 Pi‑d、 Pjs是以像素 i、 j、 i‑d、 js为中心的图像块； PX和PC分别表示任意视 角X和中心视角 C两张噪声视图中的图像块； 表示根据结构相关性从任意视图映射到中 心视图的图像块； 其中， 结构相关性指的是图像块之间的空间关系； 此函数的含义是： 当在 中心视图中找到参考图像块的疑似对应块时， 计算该疑似对应块与中心对应块的相似度， 若确认疑似 对应块与中心对应块相似， 则认定参 考图像块找到相匹配的中心对应块； B2、 在所述B1中所提出的相似度函数的基础上加入主成分分析方法， 提高双视角去噪 的图像块相似度测量的准确性， 从而所述B1中所提出的相似度函数 （5） 进一 步转化为： （6） （6） 式中， 是投影函数； B3、 根据所述B2中所提出的优化后的相似度函数完成图像块配对工作， 形成图像块训 练对。 3.根据权利要求1所述的一种结合立体匹配与深度学习的显微针孔视图降噪方法， 其 特征在于， 所述S3中提到的CARE去噪网络基于CSBDeep框架构建完成， 使用U ‑Net架构， 在每 个激活函数之前 添加批处 理规范化。权　利　要　求　书 2/2 页 3 CN 114581910 B 3