(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210077042.X (22)申请日 2022.01.24 (65)同一申请的已公布的文献号 申请公布号 CN 114088730 A (43)申请公布日 2022.02.25 (73)专利权人 心鉴智控 （深圳） 科技有限公司 地址 518000 广东省深圳市福田区华强北 街道福强社区振华路中电迪富大厦4 层 (72)发明人 孟庆铎　罗晓忠　孙海航　杨德顺　 刘春铭　徐建宇　 (74)专利代理 机构 北京专赢专利代理有限公司 11797 代理人 刘燕飞(51)Int.Cl. G01N 21/88(2006.01) G06T 7/00(2017.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 颜春艳 (54)发明名称 一种运用图像处理检测铝塑泡罩瑕疵的方 法及系统 (57)摘要 本发明提供了一种运用图像处理检测铝塑 泡罩瑕疵的方法及系统， 其中系统包括： 第一CCD 相机、 第二CCD相机、 控制装置， 用于控制触发传 感器并发送触发检测 信号至第一CCD相机或第二 CCD相机； 处理器、 所述处理器连接机器视觉处理 工具， 该机器视觉处理工具用于得到需要深度学 习模型检测的ROI； 检测模型、 目标检测器、 写入 模块、 分类模块； 以及训练模型， 该训练模型依据 历史样品的缺陷状态通过建立训练深度神经网 络进行迭代计算获取。 为了实现对铝塑泡罩包装 药品瑕疵的检测,达到最好的检测 效果， 收集大 量的瑕疵样品， 通过深度神经网络对 标注准确的 数据进行训练， 进 而得到深度学习模型。 权利要求书2页 说明书6页 附图3页 CN 114088730 B 2022.04.12 CN 114088730 B 1.一种运用图像处 理检测铝塑泡 罩瑕疵的方法， 其特 征在于， 包括如下步骤： 铝塑包装机将药品上料到pvc泡罩之后， 触发第一检测信号传递至第一CCD相机； 第一 CCD相机对pvc泡罩进行扫描， 以获取第一状态的第一图像， 从而用于检测 近铝箔面的药品 瑕疵； 在铝塑热封辊压之后， 触发第二检测信号传递至第二CCD相机； 第二CCD相机对近pvc面 进行扫描， 以获取第二状态的第二图像， 从而用于检测近pvc面的药品瑕疵； 将第一图像和第 二图像进行分割处理， 利用机器视觉处理工具得到 需要深度 学习模型 检测的ROI， 将此ROI输入至深度学习模型内， 通过深度学习模型训练得到的预设方案获取 对应的检测结果； 若ROI在预设方案中没有获取对应的检测结果， 将此ROI提取， 发送至目标检测器获取 ROI属性， 并利用设置在目标检测 器中的写入模块在ROI属性中写入识别 特征， 依据识别 特 征将该ROI分类到训练模型中具有相同识别特 征的预设子库中； 依据预设子库对应的训练所使用的深度神经网络支脉， 所述训练模型启动规避机制， 将训练模型的训练资源分配至所述深度神经网络支脉， 用于对 该ROI进行迭代训练， 训练好 后按照识别特 征分配并存 储至深度学习模型的预设方案对应的子集中； 所述训练模型依据如下 方法获得： 采集若干组瑕疵样品， 输入至处理模块对缺陷位置进行标注， 并记录缺陷样品中缺陷 位置的缺陷状态， 同时发送至目标检测器获取缺陷样品属 性， 并利用设置在目标检测器中 的写入模块在缺陷样品属性中写入识别特征， 依据识别特征将该缺陷样品分类到具有相同 识别特征的预设子库中； 依据预设子库对应建立训练深度神经网络， 训练模型依据 预设子库内存的大小将训练 资源分配至训练深度神经网络支脉， 用于对对应预设子库中的缺陷样品进行迭代训练， 训 练好后按照识别特 征分配并存 储至深度学习模型的预设方案对应的子集中。 2.根据权利要求1所述的运用图像处理检测铝塑泡罩瑕疵的方法， 其特征在于， 通过深 度学习模型训练得到的预设方案获取对应的检测结果， 检测结果包括良品或不同状态的瑕 疵品， 根据检测结果发送o k或ng信号到后端的剔除装置， 并在交 互界面显示结果。 3.一种运用图像处 理检测铝塑泡 罩瑕疵的系统， 其特 征在于， 包括 第一CCD相机， 用于在铝塑包装机将药品上料到pvc泡罩之后， 对pvc泡罩进行扫描， 以 获取第一状态的第一图像， 从而用于检测近铝箔面的药品瑕疵； 第二CCD相机， 用于在铝塑热封辊压之后， 对近pvc面进行扫 描， 以获取第二状态的第二 图像， 从而用于检测近pvc面的药品瑕疵； 控制装置， 用于控制触发传感器并发送触发检测信号至第一C CD相机或第二C CD相机； 处理器， 用于将第一图像和第二图像进行分割处 理； 所述处理器连接机器视觉处理工具， 该机器视觉处理工具用于得到 需要深度 学习模型 检测的ROI； 深度学习模型， 接收ROI并通过深度学习模型训练得到的预设方案获取对应的检测结 果； 目标检测器， 用于当ROI在预设方案中没有获取对应的检测结果时， 将此ROI提取并获 取ROI属性；权　利　要　求　书 1/2 页 2 CN 114088730 B 2写入模块， 设置在目标检测器中， 用于在ROI属性中写入识别特 征， 分类模块， 依据识别特 征将ROI分类到具有相同识别特 征的预设子库中； 以及训练模型， 该训练模型依据历史样品的缺陷状态通过建立训练深度神经网络进行 迭代计算获取； 所述训练模型内设置有处理模块、 记录模块、 分类模块、 多个预设子库及多个训练深度 神经网络； 所述处理模块用于对 采集的若干组瑕疵样品的缺陷位置进行 标注； 所述记录模块用于记录缺陷样品中缺陷位置的缺陷状态； 所述分类模块用于依据缺陷样品属性中写入的识别特征将缺陷样品分类到具有相同 识别特征的预设子库中； 所述预设子库用于依据识别特 征存储对应的缺陷样品； 依据预设子库对应建立训练深度神经网络， 训练模型依据 预设子库内存的大小将训练 资源分配至训练深度神经网络支脉， 用于对对应预设子库中的缺陷样品进行迭代训练， 训 练好后按照识别特 征分配并存 储至深度学习模型的预设方案对应的子集中。 4.根据权利要求3所述的运用图像处理检测铝塑泡罩瑕疵的系统， 其特征在于， 所述第 一CCD相机设置在工位一处， 该工位一位于铝塑包装机将药品上料到pvc泡罩之后， 且位于 铝塑热封辊压 之前， 在铝塑包装机将药品上料到p vc泡罩处设置有第一触发传感器， 该第一 触发传感器用于触发第一检测信号， 并将该第一检测信号发送至控制装置， 所述控制装置 发送至第一CCD相机， 用于第一CCD相机获取铝塑包装机将药品上料到pvc泡罩之后的第一 状态的第一图像。 5.根据权利要求3所述的运用图像处理检测铝塑泡罩瑕疵的系统， 其特征在于， 所述第 二CCD相机 设置在铝塑热封辊压 之后， 在铝塑热封辊压的末端设置有第二触发传感器， 该第 二触发传感器用于触发第二检测信号， 并将该第二检测信号发送至控制装置， 所述控制装 置发送至第二C CD相机， 用于第二C CD相机获取铝塑热封辊压之后的第二状态的第二图像。 6.根据权利要求3所述的运用图像处理检测铝塑泡罩瑕疵的系统， 其特征在于， 所述训 练模型内还设置有规避机制， 该规避机制用于有选择性的将训练模型的训练资源分配至某 一所述深度神经网络支脉。 7.根据权利要求3所述的运用图像处理检测铝塑泡罩瑕疵的系统， 其特征在于， 还包括 交互显示的控制屏， 用于交 互界面显示结果。权　利　要　求　书 2/2 页 3 CN 114088730 B 3