(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210098583.0 (22)申请日 2022.01.27 (65)同一申请的已公布的文献号 申请公布号 CN 114119777 A (43)申请公布日 2022.03.01 (73)专利权人 北京中科慧眼科技有限公司 地址 100085 北京市海淀区创业中路32号 楼32-1-1- 559 (72)发明人 刘永才　朱海涛　杨超　葛方海　 王鹏　 (74)专利代理 机构 北京远立知识产权代理事务 所(普通合伙) 11502 专利代理师 李海燕 (51)Int.Cl. G06T 7/80(2017.01)G06T 3/40(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01) 审查员 孙娟 (54)发明名称 基于深度学习的立体匹配方法和系统 (57)摘要 本发明公开了一种基于深度学习的立体匹 配方法和系统， 所述方法包括： 采集目标区域内 的左目图像和右目图像； 利用预存的特征提取网 络层提取所述左目图像和右目图像中每个像素 点的特征值， 并生成特征图； 计算所述特征图中 每个对应像素点的余弦相似度， 并以所述余弦相 似度的数值作为代价值， 对应像素点包括左目图 像的目标像素点和右目图像上与该目标像素点 对应的像素点； 基于预存的图像检测 网络， 通过 所述代价值得到视差图。 解决了现有技术中立体 匹配泛化能力差， 计算资源要求较高的技术问 题。 权利要求书3页 说明书8页 附图3页 CN 114119777 B 2022.05.17 CN 114119777 B 1.一种基于深度学习的立体匹配方法， 其特 征在于， 所述方法包括： 采集目标区域内的左目图像和右目图像； 利用预存的特征提取网络层提取所述左目图像和 右目图像中每个像素点的特征值， 并 生成特征图； 计算所述特征图中每个对应像素点的余弦相似度， 并以所述余弦相似度的数值作为代 价值， 对应像素点包括左目图像的目标像素点和右目图像上与该目标像素点对应的像素 点； 基于预存的图像 检测网络， 通过 所述代价 值得到视差图； 其中， 所述特 征提取网络层包括平均池化 算子和双线性插值 算子； 其中， 所述利用预存的特征提取网络层提取所述左目图像和右目图像中每个像素点的 特征值， 并生成特 征图， 具体包括： 利用所述平均池化 算子和所述双线性插值 算子经过多次采样和卷积得到所述特 征图； 其中， 利用所述平均池化算子和所述双线性插值算子经过多次采样和卷积得到所述特 征图， 具体包括： 对所述左目图像和右目图像进行 卷积操作， 以得到第一卷积结果； 利用所述平均池化算子对所述第 一卷积结果进行多次降采样操作， 以得到第 一降采样 结果； 利用卷积算子对所述第一降采样结果进行降采样 操作， 以得到第二降采样结果； 利用所述双线性插值算子所述第 二降采样结果进行上采样操作， 以得到第 一上采样结 果； 对所述第一降采样结果和所述第 一上采样结果进行加和操作， 并对该加和进行卷积操 作， 以得到第二卷积结果； 利用所述双线性插值算子对所述第 二卷积结果进行上采样操作， 以得到第 二上采样结 果； 对所述第一降采样结果和所述第 二上采样结果进行加和操作， 并对该加和进行卷积操 作， 以得到第三卷积结果； 使用双线性插值 算子对第三卷积结果进行 上采样操作， 以得到第三上采样结果； 对所述第三上采样结果和所述第一卷积结果进行加和操作， 并将该加和进行卷积操 作， 以得到所述特 征图。 2.根据权利要求1所述的立体匹配方法， 其特征在于， 利用所述平均池化算子对所述第 一卷积结果进行多次降采样 操作， 以得到第一降采样结果， 具体包括： 使用平均池化 算子对第一卷积结果进行一次降采样 操作， 以得到初级降采样结果； 使用平均池化算子对所述初级降采样结果进行二 次降采样操作， 以得到 中级降采样结 果； 使用平均池化算子对中级降采样结果进行三 次降采样操作， 以得到所述第 一降采样结 果。 3.根据权利要求1所述的立体匹配方法， 其特征在于， 利用以下公式， 计算所述特征图 中每个对应像素点的余弦相似度 ：权　利　要　求　书 1/3 页 2 CN 114119777 B 2其中， 为像素点A对应的任意特征向量点， 为像素点B对应的任意特征向量点， i 为当前特征向量点， n为特征向量点的数量。 4.一种基于深度学习的立体匹配系统， 其特 征在于， 所述系统包括： 图像采集单 元， 用于采集目标区域内的左目图像和右目图像； 特征图生成单元， 用于利用预存的特征提取网络层提取所述左目图像和 右目图像中每 个像素点的特 征值， 并生成特 征图； 代价计算单元， 用于计算所述特征图中每个对应像素点的余弦相似度， 并以所述余弦 相似度的数值作为代 价值， 对应像素点包括左目 图像的目标像素点和右目 图像上与该目标 像素点对应的像素点； 视差图获取 单元， 用于基于预存的图像 检测网络， 通过 所述代价 值得到视差图； 其中， 所述特 征提取网络层包括平均池化 算子和双线性插值 算子； 所述利用预存的特征提取网络层提取所述左目图像和右目图像中每个像素点的特征 值， 并生成特 征图， 具体包括： 利用所述平均池化 算子和所述双线性插值 算子经过多次采样和卷积得到所述特 征图； 其中， 利用所述平均池化算子和所述双线性插值算子经过多次采样和卷积得到所述特 征图， 具体包括： 对所述左目图像和右目图像进行 卷积操作， 以得到第一卷积结果； 利用所述平均池化算子对所述第 一卷积结果进行多次降采样操作， 以得到第 一降采样 结果； 利用卷积算子对所述第一降采样结果进行降采样 操作， 以得到第二降采样结果； 利用所述双线性插值算子所述第 二降采样结果进行上采样操作， 以得到第 一上采样结 果； 对所述第一降采样结果和所述第 一上采样结果进行加和操作， 并对该加和进行卷积操 作， 以得到第二卷积结果； 利用所述双线性插值算子对所述第 二卷积结果进行上采样操作， 以得到第 二上采样结 果； 对所述第一降采样结果和所述第 二上采样结果进行加和操作， 并对该加和进行卷积操 作， 以得到第三卷积结果； 使用双线性插值 算子对第三卷积结果进行 上采样操作， 以得到第三上采样结果； 对所述第三上采样结果和所述第一卷积结果进行加和操作， 并将该加和进行卷积操 作， 以得到所述特 征图。 5.一种智能终端， 其特 征在于， 所述智能终端包括： 数据采集装置、 处 理器和存 储器； 所述数据采集装置用于采集数据； 所述存储器用于存储一个或多个程序指令； 所述处 理器， 用于执 行一个或多个程序指令， 用以执 行如权利要求1 ‑3任一项所述的方法。 6.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中包含一个或多权　利　要　求　书 2/3 页 3 CN 114119777 B 3