(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210493427.4 (22)申请日 2022.05.07 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路1号 (72)发明人 张辉　陈煜嵘　胡非易　刘嘉轩　 毛建旭　朱青　袁小芳　王耀南　 (74)专利代理 机构 长沙市护航专利代理事务所 (特殊普通 合伙) 43220 专利代理师 张洁 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/74(2022.01) G06V 10/77(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01N 21/31(2006.01) (54)发明名称 一种基于自动编码器的医药高光谱异物检 测方法 (57)摘要 本发明公开了一种基于自动编码器的医药 高光谱异物检测方法， 包括： 采集医药生产线上 的药物高光谱图像， 对图像进行预处理并划分为 训练集和测试集； 设计多尺度注意块， 基于多尺 度注意块设计一种带哈希寻址的多尺度注意力 机制自动编码器网络， 包括编码器、 哈希存储模 块和解码器； 网络相关参数的初始化； 对网络进 行训练， 以优化重构误差， 得到训练好的网络， 采 用医药高光谱测试图像进行测试， 完成异物检 测。 提升了高光谱图像异常检测的准确率和效 率。 权利要求书3页 说明书9页 附图2页 CN 114913358 A 2022.08.16 CN 114913358 A 1.一种基于自动编码器的医药高光谱异物检测方法， 其特征在于， 所述方法包括以下 步骤： 步骤S100： 采集医药生产线上的医药高光谱图像并进行预处理， 将所述预处理后的医 药高光谱图像按照预设比例划分为药物高光谱训练图像和药物高光谱测试图像， 其中， 所 述医药高光谱训练图像为 正常样本， 所述医药高光谱测试图像包括 正常样本和异常样本； 步骤S200： 设计多尺度注意块， 将所述多尺度注意块插入编码器和解码器， 根据所述编 码器、 哈希存储模块和所述解码器构建多尺度注 意力机制自动编码 器网络， 所述编码 器、 所 述哈希存 储模块和所述 解码器依次连接； 步骤S300： 对所述网络进行参数的初始化后， 输入所述医药高光谱训练图像对所述网 络进行训练得到重构训练图像， 根据所述医药高光谱训练图像和所述重构训练图像得到输 入数据和输出数据之间的均方误差以及输入数据和输出数据分布之 间的差值， 根据所述输 入数据和输出数据之间的均方误差以及所述输入数据和输出数据分布之间的差值建立损 失函数， 根据所述损失函数对所述网络进行反向传播更新网络参数， 得到训练好的多尺度 注意力机制自动 编码器网络； 步骤S400： 获取医药高光谱测试图像， 将所述医药高光谱测试图像输入至所述训练好 的多尺度注意力机制自动编码器网络进行测试， 得到重构测试图像， 计算所述重构测试图 像和所述医药高光谱测试图像重构误差， 根据所述重构误差和预设的阈值得到异物检测结 果。 2.根据权利要求1所述的方法， 其特征在于， 步骤S200中， 所述编码器用于接收预处理 后的药物高光谱图像进行编 码后得到特征嵌入向量； 所述哈希存储模块用于接收所述特征 嵌入向量， 通过哈希编码的汉明距离检索出最接近的张量值， 得到潜在特征嵌入向量； 所述 解码器用于根据接收的所述潜在特 征嵌入向量进行解码， 得到 重构训练图像。 3.根据权利要求2所述的方法， 其特 征在于， 步骤S20 0中设计多尺度注意 块包括： 步骤S210： 设计空间注意模块(SAM)， 使用1 ×1Conv将医药高光谱训练图像F生成三个 新的特征图A、 B和D， 其中A、 B、 并将所述A、 B和D三个特征图重塑为 其中， N＝H ×W表示像素 数， 所述特征图A与所述特征图B进行矩阵乘法 并应用softmax层处理， 输出 所述S与所述特征图D进行矩阵乘法， 再使用平衡参 数α 与F执行逐元素求和运 算以获得最终输出， 计算方式如下： 其中， Sij表示S矩阵中像素点i对像素点j的影响， S是一个NxN的矩阵， Ai表示特征图A的 第i个像素点， Bj表示特征图B的第j个像素点， Ei为空间注意模块(SAM)对于第i个像素点提 取的相应特 征； 步骤S220： 设计通道注意模块(CAM)， CAM将医药高光谱训练图像F重塑为三个相同的特 征图G， 特征图大小为 将所述特征图G的转置与所述特征图G作矩阵乘法， 应用权　利　要　求　书 1/3 页 2 CN 114913358 A 2softmax层处理得到 再对Xij和所述特征图G的转置进行矩阵乘法， 返回结果的维 度为 具体为： 其中， Xij表示X矩阵中的像素点i对像素点j的影响， Mi为通道注意模块(CAM)对于第i个 像素点提 取的相应特征， Gi表示特征图G的第i个像素点， Gj表示特征图G的第j个像素点， X是 一个CxC的矩阵， β 为平衡参数， C表示 通道数； 步骤S230： 设计多尺度注意块包括通道注意模块(CAM)和空间注意模块(SAM)， 给定多 尺度注意块 的输入表示为 其中C是通道总数， H ×W是特征图大小， 根据所 述医药高光谱训练图像F、 空间注意力E和通道 注意力M精化特 征图 具体为： 其中， F经过3 ×3Conv， 将BN层和ReLU函数应用于空间注意力E和通道注意力M， 使用元 素求和并使用1 ×1Conv将得到的特 征压缩到紧凑的嵌入中。 4.根据权利要求3所述的方法， 其特征在于， 步骤S200中所述多尺度注意块用于常规采 样、 上采样和下采样， 所述多尺度注 意块包括正则卷积的相同注 意块(SA)、 下注 意块(DA)和 上注意块(UA)， 所述相同注意块(SA)用于输出相同大小的特征图， 所述下注意块(DA)用于 输出大小为一半的下采样， 所述上注 意块(UA)用于输出两倍大小的上采样； 其中， 所述SA块 的内核大小KS＝3， 步 幅S＝1， 所述DA块的内核大小KS＝3， 步 幅S＝2， 所述UA块的内核大小 KS＝3， 步幅S＝2。 5.根据权利 要求4所述的方法， 其特征在于， 步骤S200中的所述编码器包括三个所述DA 块和一个所述SA 块， 所述编码器用于接收预 处理后的药物高光谱图像进 行编码后得到特征 嵌入向量， 具体为： z＝fe(x； θe) 其中， θe为编码器网络的参数， z为特 征嵌入向量， x为预处 理后的药物高光谱图像。 6.根据权利要求5所述的方法， 其特征在于， 步骤S200中， 所述哈希存储模块用于接收 所述特征嵌入向量， 通过哈希编码的汉明距离检索出最接近的张量值， 得到潜在特征嵌入 向量， 包括： 步骤S250： 将所述特 征嵌入向量作为哈希存 储模块的输入， 并将其存 储在内存 插槽中； 步骤S260： 利用哈希函数对所述特征嵌入向量映射得到哈希二进制码， 并将其存储在 哈希表中； 步骤S270： 利用汉明距离计算所述特 征嵌入向量与所述哈希 表的相似系数； 步骤S280： 从所述内存插槽中提取相似系数最高对应的输入特征作为潜在特征嵌入向 量。 7.根据权利要求6所述的方法， 其特 征在于， 步骤S26 0中的哈希函数 具体为：权　利　要　求　书 2/3 页 3 CN 114913358 A 3