(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211130448.6 (22)申请日 2022.09.16 (71)申请人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 刘琛芳　周隽凡　徐延杰　孙浩　 (74)专利代理 机构 长沙七源专利代理事务所 (普通合伙) 43214 专利代理师 周晓艳　张勇 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于特征正交的集 成模型优化方法、 装 置及介质 (57)摘要 本发明提出了一种基于特征正交的集成模 型优化方法、 装置及介质， 所述方法基于特征正 交度量结合 常规分类对集 成模型进行优化， 本方 法中的特征正交不仅考虑原始图像本身的特征， 还根据原始 图像一定邻域内的输入空间的损失 场对特征正交进行表征， 进而使对抗样本在集成 模型中有稳定的特征表达， 即对抗样本可以使单 个子模型发生剧烈的特征变化， 但由于子模型特 征正交， 对抗样本无法影响所有的子模型， 也就 使合成模型有了稳定的输出。 应用本发明进行集 成模型优化， 取得了更为明显的特征鲁棒性提升 效果， 同时对干净样本的分类性能影响很小， 具 有很好的实用性。 权利要求书2页 说明书8页 附图1页 CN 115496183 A 2022.12.20 CN 115496183 A 1.一种基于特 征正交的集成模型优化方法， 其特 征在于， 步骤如下： 步骤S1： 制作干净样本数据集以及对抗样本数据集， 具体是， 对图像数据进行预处理， 得到由干净样本组成的干净样本数据集， 并基于干净样本数据集制作对抗样本数据集； 根 据干净样本数据集训练由多个子模型组成且用于图像分类的集成模型； 步骤S2： 计算图像分类总损失， 具体是， 采用干净样本数据集和对抗样本数据集计算不 同子模型 的梯度重合度损失， 采用对抗样本数据集计算各子模型 的损失场 强度损失， 根据 梯度重合度损失和损失场强度损失计算特征正交正则化损失； 采用干净样本数据集计算常 规分类损失； 所述特 征正交正则化损失和常规分类损失相加得到图像分类总损失； 步骤S3： 基于图像分类总损失优化集成模型的所有参数， 具体是， 根据所述图像分类总 损失对集成模型的所有参数进行优化。 2.根据权利要求1所述的集成模型优化方法， 其特征在于， 在步骤S1中， 对图像数据进 行预处理的步骤如下： 步骤S1.1： 对所有图像进行剪切操作规范至统一尺寸； 步骤S1.2： 对图像的数值进行归一 化， 即将所有图像的像素值压缩到 0‑1之间； 步骤S1.3： 通过标准化操作将图像数据线性的转换至均值为0、 方差为1的数据集， 即干 净样本数据集。 3.根据权利要求2所述的集成模型优化方法， 其特征在于， 在步骤S1中， 所述集成模型 包括三个相同或者 不同的深度神经网络模型。 4.根据权利要求3所述的集成模型优化方法， 其特征在于， 在步骤S2中， 所述损失场强 度为损失关于 输入空间形成的梯度场强度。 5.根据权利要求4所述的集成模型优化方法， 其特征在于， 在步骤S2中， 所述梯度重合 度损失通过计算子模型之间的余弦相似度来度量， 表达式如下： 其中， Lsim(， )表示子模型之间的梯度重合度损失， 表示第一子模型， 表示第二子 模型， 表示第三子模型， 代表求梯度， x为干净样本数据， 为针对第一子模型 设 计的第i个对抗噪声， 为针对第二子模型 设计的第i个对抗噪声， 为针对第三子 模型 设计的第i个对抗噪声， 为针对第二子模型 设计的第j个对抗噪声， 为针 对第三子模型 设计的第j个对抗噪声， 将其添加到原始图像上可以得到对抗样本， i为对 抗样本编号， n为对抗样本数， y为数据的标签， 为第一子模型 的分类损失， 为第 二子模型 的分类损失， 为第三子模型 的分类损失。 6.根据权利要求5所述的集成模型优化方法， 其特征在于， 在步骤S2中， 计算不同子模权　利　要　求　书 1/2 页 2 CN 115496183 A 2型的损失场强度损失的表达式如下： 其中， 表示第一子模型的损失场强度损失， 表示第二子模型的损 失场强度损失， 表示第三子模型的损失场强度损失， 为针对第 一子模型 设计的第i个对抗噪声， 为针对第二子模型 设计的第i个对抗噪声， 为针对第三 子模型 设计的第i个对抗噪声， n 为对抗样本数， y为数据的标签。 7.根据权利要求6所述的集成模型优化方法， 其特征在于， 在步骤S2中， 所述常规分类 损失为根据干净样本数据集在子模型中的表现得到， 具体是集成模型的各个子模型输出与 类别标签的平均交叉熵， 表达式如下： 其中， L0表示常规分类损失， 表示第一子模型与类别标签的交叉熵损失， 表示第二子模型与类别标签的交叉熵损失， 表示第三子模型与 类别标签的交叉熵损失。 8.根据权利要求7所述的集成模型优化方法， 其特征在于， 在步骤S3中， 对集成模型的 所有参数进行优化的过程表示如下： 其中， optimizer代表优化操作， 采用Adam优化器； θ为在线网格参数； 为损失函数在 集成模型参数 上的梯度方向； L 为集成模型训练的图像分类总损失； lr为学习率。 9.一种集成模型优化装置， 其特 征在于， 包括： 存储器， 用于存 储计算机程序； 处理器， 用于执行所述计算机程序时实现如权利要求1至8任一项所述的集成模型优化 方法。 10.一种计算机介质， 其特征在于， 所述计算机介质上存储有计算机程序， 所述计算机 程序被处 理器执行时实现如权利要求1至8任一项所述的集成模型优化方法。权　利　要　求　书 2/2 页 3 CN 115496183 A 3