(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210079472.5 (22)申请日 2022.01.24 (71)申请人 电子科技大 学 地址 610000 四川省成 都市高新区 （西区） 西源大道 2006号 (72)发明人 汪洋　赵志为　黄海峰　谭泓旻　 侯昀伯　 (74)专利代理 机构 西安智萃知识产权代理有限 公司 612 21 专利代理师 方力平 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/74(2022.01) G06V 10/56(2022.01) G06V 10/44(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于边缘计算的嵌入式图像识别方法 (57)摘要 本发明提供了一种基于边缘计算的嵌入式 图像识别方法， 包括信息采集部分和边缘计算部 分， 边缘计算部分先使用已有真实数据进行数据 增强后， 训练初始的目标检测 网络， 并将训练好 的目标检测网络框架部署在边缘 设备上； 信息采 集部分通过图像采集设备采集图像信息， 通过测 距装置测量距离信息后， 将数据发送给边缘计算 部分， 进行数据预处理和检测， 并通过边缘计算 部分得到距离图； 边缘计算部分将数据进行预处 理后， 一方面将图像数据输入到目标检测网络框 架运行， 另 一方面将图像数据进行边缘检测； 将 目标检测网络框架得到的运行结果和边缘检测 得到的运行 结果综合。 权利要求书3页 说明书9页 附图1页 CN 114445661 A 2022.05.06 CN 114445661 A 1.一种基于边缘计算的嵌入式图像识别方法， 其特征在于， 包括信息采集部分和边缘 计算部分， 具体步骤如下： 步骤1， 边缘计算部分先使用已有真实数据进行数据增强后， 训练初始的目标检测网 络， 并将训练好的目标检测网络 框架部署在边 缘设备上； 步骤2， 信息采集部分通过图像采集设备采集图像信息， 通过测距装置测量距离信息 后， 将数据发送给边缘计算部分， 进行数据预处理和检测， 并通过边缘计算部分得到距离 图； 步骤3， 边缘计算部分将数据进行预处理后， 一方面将图像数据输入到目标检测网络框 架运行， 另一方面将图像数据进行边 缘检测； 步骤4， 在步骤3的基础上将目标检测网络框架得到的运行结果和边缘检测得到的运行 结果综合， 结合测距信息和图像采集设备参数， 得到物体信息； 同时将包含物体信息的图片 和运行结果的总和作为综合结果保存在数据库中； 步骤5， 对于所述步骤4中得到的综合结果， 边缘计算部分为所述综合结果生成一个三 维空间下的图结构， 图结构中每个物体作为节点， 节点中包含物体信息； 边缘计算部 分将所 述图结构嵌入为向量形式， 与此前结果中图结构的向量形式成对放入专门设计和训练好的 神经网络中计算相似度， 当二者相似度达到或超过规定的阈值， 即判断二者是在不同时刻 下对同一场景所采集的画面， 此时， 根据 物体信息为两个画 面中的相同物体建立对应关系， 并在结果中标注， 这两个画面的物体是同一个物体； 步骤6， 边缘计算部分比对距离图与目标检测模块、 边缘检测模块的结果， 判断是否出 现异常， 出现异常则对目标检测模块和 边缘检测模块的阈值进行自适应的调整； 通过对异 常打标签， 生成新的样本， 投入 模型训练， 对 模型进行 更新调整。 2.根据权利要求1所述的基于边缘计算的嵌入式图像识别方法， 其特征在于， 所述信 息 采集部分包括： 单目摄像头、 物理测距传感器、 蓝牙通信模块， 所述边缘计算部分包括边缘 节点的服 务器和数据库。 3.根据权利要求1所述的基于边缘计算的嵌入式图像识别方法， 其特征在于， 所述步骤 1还包括： 所述已有真实数据包括多个图像， 每个图像存储有物体和人工标注的矩形框， 图 像中包括多种不同类别的物体， 每种物体存在多张图像中， 将这些数据通过平移、 反转 或添 加高斯噪声的方式进行增强后， 输入给初始的目标检测神经网络框架进行训练， 训练完成 的神经网络框架 能够将图像中的物体用矩形框标注出来并预测出该物体的类别和神经网 络判断该物体属于该类别的概率， 最后 将训练好的目标检测神经网络框架部署在边缘计算 部分的边 缘节点服务器上。 4.根据权利要求1所述的基于边缘计算的嵌入式图像识别方法， 其特征在于， 所述步骤 2还包括： S21、 通过接入层将单目摄像头和物 理测距传感器接收到的数据传送给边缘计算部分， 距离数据用于绘制距离图， 图像数据用于数据预处理， 距离数据和图像数据需建立对应关 系； S22、 距离图绘制： 首先根据单目摄 像头像素 得到一张初始化所有像素点 为0的图； 根据收集的到的距离信息， 将对应位置的像素点置为距离的值；权　利　要　求　书 1/3 页 2 CN 114445661 A 2根据测距传感器在当面画面所测到的精确范围内最大距离作为距离上限Lmax， 则将画 面中超过精确范围或者无法测量的距离设置为Lmax， 避免一些不需要考虑的情况进行干 扰； 在距离变化率的导数特别明显(超过距离变化率的导数的阈值Cthreshold)的地方， 标 识出可能出现物体区域， 并根据距离信息标识出现物体的位置； S23图像数据的数据预处 理： 数据预处 理指将接收到的图片数据进行图像放缩， 图像转 化； 图像放缩就是将图像数据通过插值方法统一 转化成446*446的RGB三 通道彩色图像； 图像转化就是将RGB三 通道的彩色图像通过相关公式转 化成单通道灰度图像。 5.根据权利要求1所述的基于边缘计算的嵌入式图像识别方法， 其特征在于， 所述步骤 3还包括： 步骤31， 将通过数据预处理中的图像放缩的数据输入到目标检测神经网络框架中， 神 经网络的输出结果为所识别的物体所用的标定矩形框的大小和位置， 识别出物体的类别以 及物体属于该类别的概 率； 步骤32， 将通过数据预处理中的图像转化后的灰度图像， 利用边缘检测神经网络框架 得到的输出结果， 输出结果实现对物体的定位和测量， 包括物体的面积、 物体的直径、 物体 的形状。 6.根据权利要求1所述的基于边缘计算的嵌入式图像识别方法， 其特征在于， 所述步骤 5还包括： 步骤51、 边缘计算部分根据结果中的各种信息生成一个三维空间下的图结构， 图的节 点对应物体， 包 含物体的各种信息， 之后通过嵌入 模型， 将图结构用矩阵形式表示； 步骤52、 利用神经网络比较所述矩阵形式的图结构和此前的图结构的相似度， 并将所 述相似度与所设置的相似度阈值相比较； 步骤53、 相似度满足阈值之后， 建立不同时刻的采集结果之间的对应关系， 然后， 根据 物体信息选取相似度最高的一组物体建立对应关系， 并作为相对位置的基准物体， 此后根 据物体信息和与基准物体的相对距离建立 其余物体的对应关系， 将其结果标注并保存； 步骤54、 不同时刻的结果和其中的物体之间的对应关系具有传递性， 根据所述传递性 建立对应关系， 避免重复计算。 7.根据权利要求6所述的基于边缘计算的嵌入式图像识别方法， 其特征在于， 所述嵌入 模型将图结构的节 点按x方向的顺序依次排列， 每一行表示一个节点的各个属性， 这样得到 不同行同列的矩阵， 然后通过特定转换矩阵， 得到规定维度下矩阵； 所述神经网络的输入为 “矩阵对”的形式， 标签为 “相似度”， 同一场景的不同视角的 “矩阵对”的标签置为1， 而不同 场景下的“矩阵对”的相似度置为0， 损失函数可以采用softmax， 由此得到一个基于二分类， 输出相似度的模型。 8.根据权利要求1所述的基于边缘计算的嵌入式图像识别方法， 其特征在于， 所述步骤 6还包括： 步骤61、 边缘计算部分对比距离图中的物体信息与目标检测和边缘计算框架检测的物 体信息是否一 致， 如果不一致则称之为异常； 步骤62、 一旦出现异常， 目标检测和边缘计算框架针对是否有物体的可信度的相关阈权　利　要　求　书 2/3 页 3 CN 114445661 A 3