(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210080728.4 (22)申请日 2022.01.24 (71)申请人 深圳闪回科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道麻岭社区高新中区科技中2路1号深 圳软件园(2期)1 1栋602 (72)发明人 林乐新　周超　王佳　 (74)专利代理 机构 深圳知帮办专利代理有限公 司 44682 专利代理师 李赜 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/12(2017.01) G06T 7/194(2017.01) G06T 7/187(2017.01)G06T 7/50(2017.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于图像识别的手机背部破损点检测 方法及系统 (57)摘要 本发明公开了基于图像识别的手机背部破 损点检测方法， 获取待采集的手机壳深度图中的 深度图像的胶水区域特征得到胶道ROI区域， 截 取已分割区域中所对应坐标的全部像素值， 并重 构出深度轮廓线， 提取目标区域特征为对目标分 割区域进行需求提取， 根据已有轮廓线测量并分 析结果， 对获取到的图像做ROI区域提取得到目 标区域特征， 进行Blob分析以确定手机的破损 点， 待测手机的轮廓线有效的打在轮廓模式下图 像界面中数据显示， 有效区域越大， 需要处理的 数据越多， 对于手机内壳的数据采集， 需要根据 待检测手机的大小来调整一个可靠的TOI有效区 域来加快图像的采集速度， 从而提高检测手机背 部破损点的精准检测 和图像识别的准确性。 权利要求书2页 说明书7页 附图2页 CN 114494179 A 2022.05.13 CN 114494179 A 1.一种基于图像识别的手机背部破损点检测方法， 其特 征在于， 包括以下步骤： 获取待采集的手机壳深度图中的深度图像的胶水区域特征得到胶道ROI区域， 其中， 将 图像像素灰度幅度进行分割， 并将图像的灰度分成不同等级， 设置灰度阈值以确定手机边 框壳的深度图； 截取已分割区域中所对应坐标的全部像素值， 并重构出深度轮廓线， 提取目标区域特 征为对目标分割区域进 行需求提取， 其中， 图像获取为通过设备得到的原始图像， 图像分割 为通过预设阈值和区域轮廓将目标区域与图像背景分离； 根据已有轮廓线测量并分析结果， 对获取到的图像做ROI区域提取得到目标区域特征， 进行Blob分析以确 定手机的破损点， 其中Blob分析是对被提出的目标区域进行特征分析， Blob为图像中具有相似纹 理、 颜色特 征的组成区域。 2.根据权利要求1所述的基于图像识别的手机背部破损点检测方法， 其特征在于， 提取 目标区域特 征为对目标分割区域进行需求 提取， 包括： 采用阈值分割算 法确定分割区域， 其表达式为： S＝{(c,r)T∈R|hmin≤fc,r≤hmax}， S为阈 值分割算法分割出的输出区域， R为被 分割出的特征区域， (c,r)是区域R 内灰度点的横纵坐 标， hmin和hmin为制定阈值区间的上限、 下限， fc,r为待分割图像ROI； 通过使用threshold算子 对图像进行全局高度灰度阈值分割， 通过算子min_ max_gray的结果数值来设定出最低高度 阈值和在矩形区域内深度最大值 为最大高度阈值； 通过阈值分割法得到的深度图像进行 区域连通性的计算， 使用算子connection来计算 区域内连接的组件， 使用算子area_center来计算各区域的面积， 选取最大区域面积， 使用 reduce_domai n算子裁剪区域以去除背景后的边框壳的深度图像。 3.根据权利要求2所述的基于图像识别的手机背部破损点检测方法， 其特征在于， 还包 括： 消除背景后使用算子gen_rectangle生成一个轮廓矩形， 以初步提取胶壳胶道ROI区 域， 该轮廓矩形通过两坐标点法即开始点与结束点来确定大小， 其表达式为： ROI_EndRow＝Dy‑ROI_StartRow， ROI_E ndColumn＝Dx， 其中， 轮廓矩形 在ROI区域的开始点和结束点坐标分别为(ROI_StartColumn， ROI_StartRow)、 (ROI_ EndColumn， ROI_EndRow)， Dx、 Dy深度图像的宽度和长度， Dr为弯角长度， μy为Y方向深度图像 的分辨率， 确定参数后Dr后使用算子reduce_domai n裁剪出初步 提取胶壳胶道ROI区域。 4.根据权利要求1所述的基于图像识别的手机背部破损点检测方法， 其特征在于， 根据 已有轮廓线测量并分析 结果， 对获取到的图像做ROI区域 提取得到目标区域特 征， 包括： 使用ResNet的前两层对预处理后的图片进行特征提取， 通过多个卷积神经网络进行特 征提取， 得到多个大小不同的特 征图； 将高层特征依次回溯与低层特征相加， 在训练时为预测训练宇哥与候选框相结合的编 码向量； 在预测时使用训练所得编码向量解码得到候选预测框， 使用非极大值抑制算法筛选出 最优的预设框并作为 最终结果的生成。 5.根据权利要求4所述的基于图像识别的手机背部破损点检测方法， 其特征在于， 使用 ResNet的前两层对预处 理后的图片进行 特征提取， 包括：权　利　要　求　书 1/2 页 2 CN 114494179 A 2采用BSSD模型检测微小缺陷， 获取多个不同尺寸的特征图， 回溯层将深层特征依次回 溯相加到 浅层特征上， 以强化浅层特 征向量； 输入图像按照预设比例用零进行补充， 使用正向卷积对图像进行处理得到扩大后的图 像。 6.根据权利要求1所述的基于图像识别的手机背部破损点检测方法， 其特征在于， 截取 已分割区域中所对应坐标的全部像素值， 并重构出深度轮廓线， 包括： 将初提取的胶壳胶道ROI区域做边缘轮廓的提取， 通过在矩形测量区域中， 依次等距截 取Y方向的高度像素值； 沿X方向从左到右读取每一格像素所对应的值依次计算， 对有效的边缘点做点标记， 其 中， 采用Y长度未N个像素， 从胶壳胶道ROI区域内的开始点以Y方向N个像素为宽度为一个小 矩形测量区域为基准， 依次对ROI区域内黑到白这一区间的边缘点进 行提取， 通过取每个矩 形测量区域自左向右计算结果中的最后一个边 缘点并进行 标记。 7.根据权利要求1所述的基于图像识别的手机背部破损点检测方法， 其特征在于， 获取 待采集的手机壳深度图中的深度图像的胶水区域特 征得到胶道ROI区域， 包括： 当待测手机到达固定位置时相机检测到发出的信号并开始进行图像采集， 对采集到的 图像进行图像处 理得到图片源； 对图片源进行灰度化和二值化得到目标图片， 截取出手机 壳对应的目标图片以定位出 目标区域； 根据目标区域对图像进行双边滤波和表面 缺陷检测得到深度图像。 8.根据权利要求7所述的基于图像识别的手机背部破损点检测方法， 其特征在于， 根据 目标区域对图像进行双边滤波和表面 缺陷检测得到深度图像， 包括： 采用加权平均进行双边滤波， 某个点的亮度需要用周围点亮度进行加权平均得到， 其中 表示归一化系数， 表示 范围域权 重， 表示空间域权 重； 当处于图像的平整部分时， 像素范围域权重趋近于1， 空间域权重起到主导作用， 当处 于图像边 缘时， 像素变化大且像素 范围域权 重变大以保存边 缘的信息 。 9.一种根据权利要求1 ‑8任一项所述的基于图像识别的手机背部破损点检测方法的基 于图像识别的手机背部破损点检测系统， 其特 征在于， 包括： 获取模块， 用于获取待采集的手机壳深度图中的深度图像的胶水区域特征得到胶道 ROI区域， 其中， 将图像像素灰度幅度进行分割， 并将图像的灰度分成不同等级， 设置灰度阈 值以确定手机边框壳的深度图； 分析模块， 用于截取已分割区域中所对应坐标的全部像素值， 并重构出深度轮廓线， 提 取目标区域特征为对目标分割区域进行需求提取， 其中， 图像获取为通过设备得到的原始 图像， 图像分割为 通过预设阈值和区域轮廓将目标区域与图像背景分离； 检测模块， 用于根据已有轮廓线测量并分析结果， 对获取到的图像做ROI区域提取得到 目标区域特征， 进行Blob分析以确 定手机的破损点， 其中Blob分析是对被提出的目标区域 进行特征分析， Bl ob为图像中具有相似纹 理、 颜色特 征的组成区域。权　利　要　求　书 2/2 页 3 CN 114494179 A 3