(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210508994.2 (22)申请日 2022.05.10 (71)申请人 江苏欧普特 条码标签有限公司 地址 214500 江苏省泰州市靖江经济开发 区城北园区经一路59- 5号 (72)发明人 郑元林　徐江　朱青　 (74)专利代理 机构 苏州国卓知识产权代理有限 公司 323 31 专利代理师 王丽敏 (51)Int.Cl. G01N 21/88(2006.01) G06K 9/62(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/20(2022.01)G06T 7/00(2017.01) G06T 5/50(2006.01) (54)发明名称 一种基于深度网络的视 觉检测系统 (57)摘要 本发明公开了一种基于深度网络的视觉检 测系统， 包括光谱成像系统、 数据处理系统、 电子 学系统和立体视觉系统， 所述立体视觉系统连接 有测距算法模块和融合输出模块； 其中， 所述光 谱成像系统包括光谱镜头组件和可见光镜头组 件； 所述数据处理系统包括数据预处理模块和在 线监测模板； 所述电子学系统包括数据采集模块 和数据输 出模块； 所述立体视觉系统包括立体测 距模块和数据融合模块。 本发明提出机器视觉检 测可以克服传统检测方法所存在的弊， 检测装置 投入生产线运行后， 能够长期执行标准化自动检 测流水线工作， 从而极大地减少人力成本， 降低 企业的生产成本， 提高产品包装的技术水平和自 动化程度， 保证产品质量。 权利要求书2页 说明书6页 附图2页 CN 114878577 A 2022.08.09 CN 114878577 A 1.一种基于深度网络的视觉检测系统， 其特征在于： 包括光谱成像系统、 数据处理系 统、 电子学系统和立体视 觉系统， 所述 立体视觉系统连接有测距算法模块和融合输出模块； 其中， 所述 光谱成像系统包括 光谱镜头组件和可 见光镜头组件； 所述数据处 理系统包括数据预处 理模块和在线监测模板； 所述电子学系统包括数据采集模块和数据输出模块； 所述立体视觉系统包括 立体测距模块和数据融合模块； 所述光谱成像系统采用压缩编码光谱成像技术， 并引入全色通道， 所述光谱成像系统 由全色通道和快照式光谱探测通道组成， 入射 光线经分光镜分成两路； 所述光谱成像系统连接有成像电路系统， 所述成像电路系统包括集线器、 成像组件和 电源板； 所述成像组件包括三个探测器芯片以覆盖120度的视场角， 每一个探测器芯片都配有 各自独立的成像电路， 包括一个探测 器板和一个FPGA板， 同一个成像组件内的三个成像电 路共用一个成像组件电源板； 所述数据处理系统采用分布式处理架构， 将相机 阵列采集的数据分成两组， 中间视场 的图像数据为第一组， 两边视场的图像数据为第二组， 每一组输出 的图像数据由一块数据 处理板完成， 两组处理后的结果由总控板进一步处理后输出， 每块数据处理板是由FPGA和 嵌入式GPU组成的异构 计算平台， FPGA控制图像采集以及完成数据传输， 还对所采集的图像 进行图像预处理、 图像质量评价， 图像对极线校正处理——对后续图像处理算法实施进行 初步加速 。 2.根据权利要求1所述的一种基于深度网络的视觉检测系统， 其特征在于： 其中一路为 光线经过反射镜被全色相机通道探测， 另外一路为快照式光谱通道， 利用掩模板、 棱镜、 灰 度相机实现对目标的空间维和光谱维信息的编码探测， 并通过图谱重构算法实现图谱复 原。 3.根据权利要求1所述的一种基于深度网络的视觉检测系统， 其特征在于： 所述FPGA板 连接有FPGA配置电路， 所述FPGA板包括sCMOS控制、 通信控制、 图像采集模块、 图像处理模 块， 所述sC MOS控制与探测器连接， 所述探测器连接与图像采集模块连接 。 4.根据权利要求1所述的一种基于深度网络的视觉检测系统， 其特征在于： 所述成像组 件电源板的单路24V输入来自主电源板， 在成像组件电源板上转换为12V、 5V、 3.3V、 1.8V、 1.5V各个模块所需电压 。 5.根据权利要求1所述的一种基于深度网络的视觉检测系统， 其特征在于： 所述FPGA板 对探测器板进行 供电、 参数配置、 时序控制和图像采集。 6.根据权利要求1所述的一种基于深度网络的视觉检测系统， 其特征在于： 所述数据处 理系统在数据传输链路上， 采用高速差 分串行传输总线， 提高数据处理分系统的实时性， 其 中FPGA与嵌入式GPU之间的物理信道为PCI ‑Express， Gen2， ×4， 用于从FPGA搬移图像数据 到嵌入式GPU， 该接口配置下， 单向最大有效带宽16Gbps。 7.根据权利要求6所述的一种基于深度网络的视觉检测系统， 其特征在于： 所述数据处 理系统选用PCI ‑Express专用的DMA控制器来进行实际的数据传输， 嵌入式GPU搭配有8GB   128bit LPDDR4内存， 满足系统对 存储容量和速度上的要求。 8.根据权利要求7所述的一种基于深度网络的视觉检测系统， 其特征在于： 所述数据处权　利　要　求　书 1/2 页 2 CN 114878577 A 2理系统在算法架构上， 数据处理过程依次经过自适应滤波， 图像增强， 图像质量评价， 图像 对极线校正， 基于 改进Census变换的像素匹配损失计算， 基于深度学习的像素匹配代价聚 合， 多尺度视差图计算， 视差图优化， 多视场深度图融合， 基于位姿参考系统的自适应地面 方程更新， 基于贝叶斯滤波的栅格地图更新过程， 依 次分析各算法步骤的复杂度以及 并行 程度。 9.根据权利要求8所述的一种基于深度网络的视觉检测系统， 其特征在于： 所述自适应 滤波中不同数据通道做有针对性的去雾去模糊预 处理， 提升图像质量， 在图像增强时， 各波 段影像做直方图均衡化、 亮度归一化相应增强， 提高匹配精度； 图像融合中， 进行无参考视 频质量评价， 充分利用空间域与时间域的3D ‑DCT统计特征； 极线 校正中， 用单应性矩阵与像 素位置相乘来 获得校正后的像素点位置； 特征提取和代价计算中， 设置窗口， 每个窗口内进 行Census变换， 同时并行 处理每个窗口； 深度学习代价聚合中， 图像缩放 成不同比例尺求取 边缘， 在不同比例尺图像中可以并行 处理； 多尺度视差图计算中， 需要 借助不同金字塔尺度 层间的信息， 存在先后顺序， 因此不进行并行处 理； 视差图优化中， 分块进行中值滤波操作。权　利　要　求　书 2/2 页 3 CN 114878577 A 3