(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210095009.X (22)申请日 2022.01.26 (71)申请人 扬州大学 地址 225009 江苏省扬州市大 学南路88号 (72)发明人 张燕军　葛于杰　高吉成　赵敏孟　 吴伟伟　缪宏　张善文　戴敏　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 王晓东　赵荔 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) B25J 9/10(2006.01) B25J 9/16(2006.01) B25J 11/00(2006.01) B25J 15/08(2006.01) (54)发明名称 一种基于机器视觉的鹅种蛋识别定位方法 及系统 (57)摘要 本发明公开了一种基于机器视觉的鹅种蛋 识别定位系统及方法， 其包括以下步骤， 拍摄产 房环境下的鹅产蛋区图片； 将拍摄到的鹅产蛋区 原图输入检测模 型中进行目标检测， 对鹅蛋区域 划分并分割需要抓取的鹅蛋图片； 对分割出的鹅 蛋图片进行预处理， 并对鹅蛋边缘进行提取； 将 预处理后的图片分割为目标及 背景像素块， 将分 割后的像素块图片输入微调的多路径卷积神经 网络中， 基于鹅蛋轮廓边界条件完成鹅蛋识别； 使用本发明能实现鹅蛋的准确识别定位。 权利要求书3页 说明书7页 附图3页 CN 114529802 A 2022.05.24 CN 114529802 A 1.一种基于 机器视觉的鹅种蛋识别定位方法， 其特 征在于： 其包括以下步骤， 拍摄产房环境下的鹅产蛋区图片； 将拍摄到的鹅产蛋区原图输入检测模型中进行目标检测， 对鹅蛋区域划分并分割需要 抓取的鹅蛋图片； 对分割出的鹅蛋图片进行 预处理， 并对鹅蛋边 缘进行提取； 将预处理后的图片分割为目标及背景像素块， 将分割后的像素块图片输入微调的多路 径卷积神经网络中， 基于鹅蛋轮廓边界条件完成鹅蛋识别。 2.如权利要求1所述的基于机器视觉的鹅种蛋识别 定位方法及系统， 其特征在于： 鹅蛋 区域划分的具体步骤为， 设定鹅蛋置信度系数阈值， 若鹅蛋识别框上的置信度系数不小于鹅蛋置信度系数阈值 且此时无鹅的识别框， 则判定此时可以抓取鹅蛋， 根据识别框位置 分割鹅蛋图片； 若在图像 中出现鹅识别框， 不予处理； 若图像中既无鹅识别框也无鹅蛋识别框， 判定此时此产蛋区无 鹅蛋可抓取。 3.使用权利要求1或2所述的基于机器视觉的鹅种蛋识别定位方法， 其特征在于： 对分 割出的鹅蛋图片进行处 理的步骤具体为， 对分割出来的鹅蛋图片进行中值滤波， 减少拍摄时的噪声影响； 对分割出的鹅蛋图片进行大津法阈值分割处理， 按照图像的灰度特征差异值， 将图像 中鹅蛋的主体部分以白色像素块的方式提取出来， 将鹅蛋分割图像划分为鹅蛋部分和背 景 部分， 得到鹅蛋像素主体区域； 对得到的鹅蛋分割图像进行边 缘提取及鹅蛋边 缘轮廓曲线拟合处 理。 4.如权利要求3所述的基于机器视觉的鹅种蛋识别 定位方法， 其特征在于： 对得到的鹅 蛋分割图像进行边缘提取时， 利用Kirsch算子， 设置不同的算子阈值， 对鹅蛋边缘进行提 取， 从不同阈值 算子中选择 出最适合非结构环境下 鹅蛋边缘提取的算子阈值 为7000。 5.如权利要求4所述的基于机器视觉的鹅种蛋识别 定位方法及系统， 其特征在于： 对鹅 蛋边缘轮廓曲线 进行拟合时， 建立鹅蛋轮廓边 缘曲线方程， 如下式所示， f＝a1x2+a2y2+a3xy+a4x+a5y+a6   (1)； a1～a6为系数， x为以分割图片左下角为原点的笛卡尔坐标系横坐标， y为以分割图片 左下角为原点的笛卡尔坐标系纵坐标。 6.如权利要求5所述的基于机器视觉的鹅种蛋识别 定位方法， 其特征在于： 使用神经网 络识别的步骤具体为， 将分割后的鹅蛋图片进行旋转、 扭曲、 添加噪声， 扩充训练的数据集， 提高模型的泛化 性； 分别提取n ’个50*50像素大小的鹅蛋及背景像素块， 其中n1个作为训练集， n2个作为测 试集， 利用最近临值差 法将像素大小扩充为22*224， 基于R、 G、 B三个颜色通道输入训练集像 素块， 建立训练模型， Hijk[n]＝M(Y[n ‑1])+Sijk   (2)； Uij[n]＝(1+β1Hij1[n])(1+β2Hij2[n])(1+β3Hij3[n])+σ   (3)； Tij[n]＝e‑α TTij[n‑1]+VTYij[n]   (4)；权　利　要　求　书 1/3 页 2 CN 114529802 A 2其中， Hijk[n]为外部输入通道， Sijk为外部刺激， Uij[n]为神经元内部活动状态， 其值和 动态门限阈值Tij[n]比较， Yij[n]为某一图片某一个像素点在此颜色分量下的二值输出， VT 为幅值归一化参数， W、 M、 P为权值矩阵， α 为调整输入平均水平等级参数， σ 为神经元内部活 动状态误差， β1、 β2、 β3为权值参数， i、 j为图片像素点的横纵坐标， n为样本编号， k为某一颜 色分量； 在三次卷积池化后进行权值参数更新， 得到的权值参数用以这 次迭代的后 三层卷积池 化层及下一次迭代的前三层卷积池化过程， 重复上述过程完成训练， 权值参数更新的计算 公式如下， mt＝ λ mt‑1+(1‑λ )gi(t)    (7)； βt+1i＝βti‑ηt   (11)； 其中， gi(t)为参数梯度， f为， λ为动量因子， ε为初 始学习率， i为某一颜色分量， t为迭代 次数， mt为一阶动量偏差， vt为二阶动量， mt为一阶动量， 为i颜色分量和迭代次数为t时的 权值参数， βt+1i为更新后的权值 参数， ηt为下降梯度； 将训练得到的鹅蛋特征和背景特征通过向量拼接融合， 接着输入SVM分类器中进行特 征分类， 在分类之后进行 特征重组， 得到图片的识别模型。 7.如权利要求5所述的基于机器视觉的鹅种蛋识别 定位方法， 其特征在于： 基于鹅蛋轮 廓边界条件识别鹅蛋的步骤具体为， 将鹅蛋轮廓边缘线设定为边界条件， 在鹅蛋轮廓边界外的设定为背景特征， 在鹅蛋轮 廓边界内的都定义 为鹅蛋特 征。 8.如权利要求6或7所述的基于机器视觉的鹅种蛋识别定位方法， 其特征在于： 基于得 到的分割图片的鹅蛋识别图像， 计算得到分割图片坐标系中的鹅蛋质心坐标， x0、 y0为鹅蛋横、 纵像素质心坐标， i为鹅蛋区域内的像素点， n为鹅蛋区域内总的像素个 数， xi、 yi为i点的横纵坐标； 计算鹅蛋质心在原拍摄图片坐标系中的质心位置，权　利　要　求　书 2/3 页 3 CN 114529802 A 3