(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210077307.6 (22)申请日 2022.01.24 (71)申请人 内蒙古包钢医院 地址 014010 内蒙古自治区包头市昆区少 先路24号 申请人 内蒙古工业大 学　 内蒙古自治区国际蒙医 医院 (72)发明人 杨敬平　石宝　杨德志　徐喜媛　 武敏　田红军　宣鹏飞　王宏燕　 王慧　郝馨钰　李淑荣　 (74)专利代理 机构 南昌逸辰知识产权代理事务 所(普通合伙) 36145 专利代理师 石聪灿 (51)Int.Cl. G06V 20/64(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06K 9/62(2022.01) (54)发明名称 一种基于二维图像和三维点云的花粉分类 方法 (57)摘要 本发明涉及计算机视觉技术领域， 具体涉及 一种基于二维图像和三维点云的花粉分类方法， 该方法包括采用二维图像分类网络输出二维分 类概率向量， 采用三维点云分类网络输出三维分 类概率向量； 根据所述二维图像分类网络输出的 所述二维分类概率向量和所述三维点云分类网 络输出的所述三维分类概率向量， 采用多层感知 机网络进行融合， 并输出融合分类概率向量。 该 方法， 从二维图像和三维点云两个维度出发对花 粉分类进行研究， 训练两个独立的网络结构通 道， 结合平面和空间两个维度的信息， 融合两个 网络所提取的不同的特征表达， 进一步对花粉进 行分类识别， 极大的提高了花粉分类的准确率。 权利要求书2页 说明书8页 附图3页 CN 114445816 A 2022.05.06 CN 114445816 A 1.一种基于二维图像和三维点云的花粉分类方法， 其特征在于， 所述基于二维图像和 三维点云的花粉分类方法包括： 采用二维图像分类网络 输出二维分类概 率向量； 采用三维点云 分类网络 输出三维分类概 率向量； 根据所述二维图像分类网络输出的所述二维分类概率向量和所述三维点云分类网络 输出的所述 三维分类概 率向量， 采用多层感知机网络进行融合， 并输出融合分类概 率向量。 2.根据权利要求1所述的基于二维图像和三维点云的花粉分类方法， 其特征在于， 根据 所述二维分类概率向量、 所述三维分类概率向量和所述融合分类概率向量各自的损失函 数， 加权成全局损失函数， 以用于优化所述融合分类概 率向量。 3.根据权利要求1所述的基于二维图像和三维点云的花粉分类方法， 其特征在于， 所述 二维图像分类网络包括： 设置补丁编码组件， 重新划分2D花粉图片的尺寸并进行向量映射， 生成补丁序列； 设置窗口注意力模块， 对补丁序列进行多头注意力计算； 设置补丁 合并组件， 减少补丁的数量， 并增 加补丁的维度。 4.根据权利要求3所述的基于二维图像和三维点云的花粉分类方法， 其特征在于， 所述 窗口注意力模块包括多头注意力窗口组件和多头注意力转换窗口组件。 5.根据权利要求4所述的基于二维图像和三维点云的花粉分类方法， 其特征在于， 所述 多头注意力窗口组件 包括： 设置层标准 化， 对补丁序列进行规范； 设置窗口注意力机制， 对补丁序列进行多头注意力计算； 设置前馈网络， 对补丁序列的注意力特 征图进行融合， 并使其可以投影到所需的维度。 6.根据权利要求5所述的基于二维图像和三维点云的花粉分类方法， 其特征在于， 所述 窗口注意力机制对补丁序列进行多头注意力计算的方式包括： 在补丁序列上划分M个窗口， 每个窗口内有m ×m个补丁， 对每个窗口内的m ×m个补丁进 行多头注意力计算； 其中， 所述多头注意力转换窗口组件包括设置转换窗口注意力机制， 对窗口位置进行 移动， 并得到 M1个不重合且大小不相等的窗口， 其中， M1＞M。 7.根据权利要求1所述的基于二维图像和三维点云的花粉分类方法， 其特征在于， 所述 三维点云 分类网络包括： 设置T‑net网络， 对输入的点云数据集进行 校准对齐； 设置多层感知机网络， 对经 所述T‑net网络校准对齐的点云数据进行点云特 征提取。 8.根据权利要求7所述的基于二维图像和三维点云的花粉分类方法， 其特征在于， 所述 三维点云分类网络还包括设置对称网络， 聚合所有点云数据在各个维度上的特征并以此得 到最终的全局特 征。 9.根据权利要求7所述的基于二维图像和三维点云的花粉分类方法， 其特征在于， 所述 点云数据集 为一组三维点云数据{Pi|i＝1，…， n}； 其中， 每个点Pi是欧式空间中(x， y， z)坐标加上特征通道， 所述特征通道包括颜色向量 和法线向量。 10.根据权利要求7所述的基于二维图像和三维点云的花粉分类方法， 其特征在于， 所权　利　要　求　书 1/2 页 2 CN 114445816 A 2述T‑net网络通过采样法和插值法以空间变换的方式对所述 点云数据集进行 校准。权　利　要　求　书 2/2 页 3 CN 114445816 A 3