(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111395775.X (22)申请日 2021.11.23 (71)申请人 江苏科技大学 地址 212008 江苏省镇江市丹徒区长晖路 666号 (72)发明人 张辉　官震　杨育　陈瑶　朱成顺　 方喜峰　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 代理人 柏尚春 (51)Int.Cl. G06F 30/17(2020.01) G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习与模型仿真的相似零件识别 系统、 介质和方法 (57)摘要 本发明公开了一种基于深度学习与模型仿 真的相似零件识别系统、 介质和方法， 该方法包 括： 获取零件三维模型的静态位姿、 生成仿真图 像、 获取零件 图像最小包围盒坐标、 生成相似零 件识别网络训练集、 进行YOL O4神经网络训练、 根 据测试集结果构建最佳识别视角集、 控制相机采 集现场零件图像、 根据识别结果的置信度判断是 否通过运动转台调整相机视角下相似零件位姿， 再重新进行识别。 本发明利用三维模 型的仿真图 像生成YOLO4算法的训练集， 实现了训练集自生 成从而缩减了制作训练样本的时间， 并且该方法 通过运动转台的方式有效解决了单一视角下零 件可区分特征易遮挡的问题， 实验 结果表明该方 法具有高精度的识别结果， 具有切实可行的实用 价值。 权利要求书2页 说明书6页 附图2页 CN 114218692 A 2022.03.22 CN 114218692 A 1.一种基于深度学习与模型仿真的相似零件识别方法， 其特 征在于， 包括： 步骤1： 利用Bullet物理引擎模拟刚体零件自由落体， 获取待识别零件三维模型在虚拟 空间中的静态位姿； 步骤2： 利用OpenGL库模拟从不同视角、 光线下观察的零件静态姿态， 保存所有零件在 不同视角下的仿真图像； 步骤3： 利用仿真图像 中零件与周围环境的颜色区分度， 使用OpenCV库获取仿真图像 中 零件的最小包围盒坐标； 步骤4： 利用仿真图像、 零件名称与包围盒位置信息制作图像数据集， 作为YOLO4算法的 训练集并进行训练； 步骤5： 按照一定的间隔角度抽样提取各个视角下的相似零件仿真图像作为算法测试 集， 并根据测试 结果保存每件相似零件的最佳识别视角图像； 步骤6： 现场采集待测零件图像， 并将其输入训练好的YOLO4 算法； 步骤7： 如果识别结果的置信度大于预设值则输出识别结果； 否则， 计算当前图像与该 类相似零件的最佳识别视角图像之间的仿射变换矩阵， 将计算结果转换为旋转角度， 通过 上位机控制运动转台调整零件位姿， 重复所述 步骤6， 输出识别结果。 2.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法， 其特征 在于， 所述 步骤1包括以下步骤： 步骤1.1： 导入待识别零件的三维模型并设置初始高度h0； 步骤1.2： 利用Bul let库中的函数设置虚拟空间中包括重力、 弹性、 刚体属性的参数； 步骤1.3： 控制零件模型模拟自由落体， 静止后判断该位姿是否为零件检测时常规的摆 放姿态， 如果 不符合则重新设置初始高度重复上述 步骤； 步骤1.4： 重复上述操作， 直到获取所有零件的静态位姿Mi， 其中i＝1、 2、 …、 m表示所有 零件的序列。 3.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法， 其特征 在于， 所述 步骤2包括以下步骤： 步骤2.1： 导入步骤1中获取的零件静态位姿； 步骤2.2： 使用OpenGL库模拟零件识别现场光照， 并设置虚拟相机 视角； 步骤2.3： 每隔1度绕模型空间内虚拟Z轴旋转零件静态位姿， 并保存此时虚拟相机视角 下的零件 仿真图像Pij， i＝1、 2、 …、 m， j＝1、 2、 …、 n， 其中， i表示零件序列， j表示每件零件生 成的仿真图像序列； 步骤2.4： 重复上述操作， 直到获取 所有零件的仿真图像。 4.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法， 其特征 在于， 所述 步骤3包括以下步骤： 步骤3.1： 利用零件三维模型颜色与背景颜色的区分， 将仿真图像二值化， 并提取出二 值化后图像的边 缘特征； 步骤3.2： 利用OpenCV库求解步骤3.1操作后仿真图像中零件的最小包围盒， 并返回包 围盒左上角像素坐标(Xijt， Yijt)与右下角的像素坐标(Xijd， Yijd)， i＝1、 2、 …、 m， j＝1、 2、 …、 n， 其中， i表示 零件序列， j表示每件零件生成的仿真图像序列。 5.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法， 其特征权　利　要　求　书 1/2 页 2 CN 114218692 A 2在于， 所述 步骤4包括以下步骤： 步骤4.1： 使用VOC数据集格式， 生成的仿真图像放入JPEGIma ges文件夹； 步骤4.2： 随机分配训练集、 测试集与验证集目录， 生成Ima geSets文件夹； 步骤4.3： 根据仿真图像信息、 零件名称与包围盒位置信息， 自动生成XML文档， 放入 Annotations文件夹； 步骤4.4： 根据相应的XML文档生成labels文档 信息； 步骤4.5： 循环上述 步骤， 直到收集完所有的训练集信息； 步骤4.6： 带入YOLO4 算法进行网络训练。 6.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法， 其特征 在于， 所述 步骤5包括以下步骤： 步骤5.1： 每隔5度抽样 提取所述步骤2中生成的仿真图像Pik作为测试集， i＝1、 2、 …、 m， k∈j； 步骤5.2： 将步骤5.1中的测试集带入训练好的YOLO4 算法； 步骤5.3： 根据步骤5.2中测试结果的置信度 Tik， 保存识别每件零件的最佳视角图像Pz， z∈i。 7.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法， 其特征 在于， 所述 步骤7包括以下步骤： 步骤7.1： 判断YOL O4算法输出的当前零件的识别结果的置信度T0是否大于0.9 5， 如果置 信度T0大于0.95， 则将识别结果 直接输出； 步骤7.2： 如果当前零件的识别结果的置信度T0小于0.95， 则将其与该零件的最佳视角 图像P0进行仿射变换计算， 并输出仿射变换矩阵M0； 步骤7.3： 将仿射变换矩阵M0转换为平面内运动转盘需要调整的角度 θ0； 步骤7.4： 通过上位机控制运动转盘带动零件调整位姿至最佳视角， 并重复步骤6中操 作输出识别结果。 8.一种计算机可读存储介质， 其特征在于， 包括供一个或多个处理器执行的一个或多 个程序， 所述 一个或多个程序包括用于执 行如权利要求1 ‑7任一所述方法的指令 。 9.一种基于深度学习与模型仿真的相似零件识别系统， 其特 征在于， 所述系统包括： 静态位姿获取模块： 用于模拟零件自然摆放时， 三维模型的位姿； 零件渲染图像模块： 用于将静态位姿获取模块得到的自然摆放的零件模型， 生成贴近 真实环境的仿真图像， 以及生成最佳视角集 合； 图像数据集模块： 用于自动识别仿真图像中零件的位置， 自动生成图像数据集； 并用于 自动生成YOLO4 算法训练所需要的数据集； 运动转台模块： 通过上位机控制运动转台， 用于将难识别的零件调整至可识别的最佳 视角下， 便 于进行二次识别； 输出模块： 用于将识别结果反馈给系统。权　利　要　求　书 2/2 页 3 CN 114218692 A 3