(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211134430.3 (22)申请日 2022.09.19 (65)同一申请的已公布的文献号 申请公布号 CN 115205853 A (43)申请公布日 2022.10.18 (73)专利权人 华中农业大 学 地址 430070 湖北省武汉市洪山区狮子山 街1号华中农业大 学 (72)发明人 佃袁勇　郭志强　周靖靖　胡春根　 张金智　刘永忠　 (74)专利代理 机构 武汉谦源知识产权代理事务 所(普通合伙) 42251 专利代理师 王力 (51)Int.Cl. G06V 20/68(2022.01)G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/26(2022.01) G06V 10/28(2022.01) G06V 10/34(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 111709489 A,2020.09.25 CN 113033520 A,2021.0 6.25 CN 109682821 A,2019.04.26 CN 114821102 A,202 2.07.29 US 2021212 257 A1,2021.07.15 审查员 杨霜雪 (54)发明名称 一种基于图像的柑橘果实检测与识别方法 及系统 (57)摘要 本发明涉及一种基于图像的柑橘果实检测 与识别方法及系统， 其方法包括获取柑橘果实的 实景拍摄照片并对中心点进行标注， 建立数据 集； 对数据集进行拟合得到柑橘果的果实边界， 并生成多尺度空间梯度概率图； 构建多尺度空间 注意力深度学习网络模型并进行训练； 获取目标 柑橘实景拍摄照片， 并将目标柑橘实景拍摄照片 输入至多尺度空间注意力深度学习网络进行检 测与识别， 得到柑橘果预测点位图。 本发明通过 对标记后的实景拍摄照片形成的数据集进行拟 合， 得到柑橘果的果实边界和多尺度空间梯度概 率图， 构建多尺度空间注意力深度学习网络模型 并进行训练， 从而实现对目标柑橘实景拍摄照片 的识别， 得到柑橘果预测点位图， 检测方法简单 使用、 可移植 性强。 权利要求书4页 说明书12页 附图2页 CN 115205853 B 2022.12.27 CN 115205853 B 1.一种基于图像的柑橘果实检测与识别方法,  其特征在于， 包括如下步骤： 获取柑橘果实的实景拍摄照片， 并对所述实景拍摄照片中果实的中心点进行标注， 建 立数据集； 基于所述中心点利用区域生长算法对所述数据集进行拟合， 得到柑橘果的果实边界， 并生成基于果实中心点的多尺度空间梯度概 率图； 构建多尺度空间注意力深度 学习网络模型， 并基于所述多尺度空间梯度概率图对所述 多尺度空间注意力深度学习网络模型进行训练； 获取目标柑橘实景拍摄照片， 并将所述目标柑橘实景拍摄照片输入至所述多尺度空间 注意力深度学习网络进行检测与识别， 得到柑橘果预测点 位图； 其中， 所述基于所述中心点利用区域生长算法对所述数据集进行拟合具体包括如下步 骤： 采用归一化波段指数确定所述实景拍摄照片中柑橘果和背景对应的指数， 并计算相邻 空间红蓝波段梯度指数差值；   （1）     （2） 其中，Red为图像数据中对应像素的红光波段的值， Blue为图像数据中对应像素的蓝光 波段的值， graDiff为红蓝波段梯度指数， T为相邻空间红蓝波段梯度指数差值， 且所述 T小 于预设阈值时对应 像素为柑橘果， 否则对应 像素为背景； 采用八邻域算法， 以所述中心点为种子点进行区域生长， 得到数据集中图像数据对应 的二值图像； 采用卷积核对所述二值图像分别进行膨胀和腐蚀处理， 得到分别得到膨胀和腐蚀后的 图斑， 通过相交求差得到每一个果实的边 缘点； 对所述边缘点进行圆拟合， 得到果实的果实边界， 并计算每 个果实边界对应的半径。 2.根据权利要求1所述的基于 图像的柑橘果实检测与识别方法,  其特征在于， 所述获 取柑橘果 实的实景拍摄照 片并对所述 实景拍摄照 片中果实的中心点进 行标注， 建立数据集 具体包括如下步骤： 获取柑橘果实的实景拍摄照片， 利用软件对所述实景拍摄照片中柑橘果的中心点进行 标注； 从所述实景拍摄照片中随机抽取 M张标注样本作为训练集， 进行图像数据扩增， 并保留 N张样本作为验证集； 将所述数据集划分为训练集和验证集； 其中， 所述图像数据扩增包括图像旋转、 图像移动、 图像缩放、 图像增强、 噪声注入和对 比度变换中的一种或多种处 理，M>N。 3.根据权利要求2所述的基于 图像的柑橘果实检测与识别方法,  其特征在于， 所述生 成基于果实中心点的多尺度空间梯度概 率图具体包括如下步骤： 定义所述数据集的图像中柑橘果的位置点为 l= {l1, l2, l3,…, li,…,lk},构建每个 柑橘果实位置点的二维高斯核函数， 具体如下：权　利　要　求　书 1/4 页 2 CN 115205853 B 2    （3） 将每个柑橘果实位置点对应的所述二维高斯核函数进行叠加， 并基于所有所述二维高 斯核函数的最大值构建所述多尺度空间梯度概 率图： （4） 其中， 为高斯核参数， 为对应柑橘果的位置点属于对应类别关键点的初始概率， K 为所述数据集的图像中柑橘果的数量。 4.根据权利要求2所述的基于 图像的柑橘果实检测与识别方法,  其特征在于， 所述构 建多尺度空间注意力深度学习网络， 并将所述多尺度空间梯度概率图输入至所述多尺度空 间注意力深度学习网络进行训练具体包括如下步骤： 构建多尺度空间注意力深度 学习网络模型， 并将所述训练集中的实景拍摄照片和对应 的所述多尺度空间梯度概率图输入至所述多尺度空间注意力深度学习网络模型， 对所述 实 景拍摄照片进行采样、 裁 剪处理， 得到特 征图； 采用不同扩 张率的扩 张卷积层对所述训练集中的实景拍摄照片进行特征提取处理， 得 到不同尺度空间特征， 并将不同尺度空间特征进 行对应的空洞卷积处理后得到的空间特征 进行合并， 得到特 征集； 采用Sigmoid 函数对所述特征集进行处理， 计算并输出预测概率作为主干网络特征的 空间监督权重。 5.根据权利要求4所述的基于 图像的柑橘果实检测与识别方法,  其特征在于， 所述将 所述目标柑橘实景拍摄照片输入至所述多尺度空间注意力深度学习网络进行检测与识别 具体包括如下步骤： 采用softmax激活函数将所述特征集归一化处理， 得到果实分布概率图， 并对所述果实 分布概率图进行检测， 输出包含每个像素属于每种类别概率的多尺度空间梯度概率预测 图； 利用Sobel算子分别计算所述多尺度空间梯度预测概率图中每个像素的横向亮度差分 近似值和纵向亮度差分近似值， 并计算每 个像素的梯度值；                           （5）                             （6）                           （7） =                           （8）                             （9） 其中， 为Sobel算子的横向卷积因子， 为Sobel算子的纵向卷积因子， 为任一像素权　利　要　求　书 2/4 页 3 CN 115205853 B 3