(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111405653.4 (22)申请日 2021.11.24 (65)同一申请的已公布的文献号 申请公布号 CN 113821452 A (43)申请公布日 2021.12.21 (73)专利权人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号 (72)发明人 华炜　陈奕铮　黄刚　迟锐　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 代理人 贾玉霞 (51)Int.Cl. G06F 11/36(2006.01) G06F 30/27(2020.01)G06K 9/62(2022.01) G06F 111/10(2020.01) (56)对比文件 CN 106067035 A,2016.1 1.02 US 2003/0069652 A1,20 03.04.10 CN 107766883 A,2018.0 3.06 汪滢.应用层网络设备的自动化测试研究与 实践. 《信息通信》 .2020,第16 3-165页. 审查员 李景景 (54)发明名称 根据被测系统测试表现动态生成测试案例 的智能测试方法 (57)摘要 本发明公开一种根据被测系统测试表现动 态生成测试案例的智能测试方法， 该方法通过生 成n个仿真训练案例， 并通过测试得到被测代理 在这n个案例中的表现， 通过构建多棵决策树， 使 算法准确预测不同案例下的被训练代理的表现， 学习到仿真测试中会导致不同结果的各变量的 空间划分， 从而在下一轮测试中可以更精确有效 地生成案例。 本发明实现方法简便且具有通用 性， 适用于多种场景中的虚拟仿真训练， 提升了 智能测试中生成案例的有效性。 权利要求书2页 说明书4页 附图1页 CN 113821452 B 2022.03.18 CN 113821452 B 1.一种根据被测系统测试表现动态生成测试案例的智能测试方法， 其特征在于， 该方 法包括如下步骤： S1： 选择一个包 含N个变量var的测试模板test_case_template； S2： 每个变量var在其取值区间内进行 数值采样， 全部采样数值均形成一个采样集 合Q； S3： 每个变量从其对应的采样集合Q中选取一个值， 组成模板变量数值采样向量g=(s1， s2, ...， sN )， s1∈Q1， s2∈Q2， ...， sN∈QN， 然后再将g生成集 合G_init； S4： 开始第k轮测试， 且当k=1时， 集合Gk=G_init； 对集合Gk中的每个模板变量数值采样 向量进行遍历， 在遍历过程中根据测试模板， 得到每个模板变量数值采样向量g的对应类别 标签label(g)， 并得到Gk对应的测试表现数据集Dk； S5： 判断k是否等于1； 若k=1， 使用Dk训练出一棵分类错误率小于预设阈值epsilonk的决 策树Tk， Tk能根据任意g预测出label(g)， 并将分类错 误的样本放入数据集Dk+1中； 若k＞1， 分别使用决策树T1、 T2、 ...、 Tk‑1来对Dk中的样本进行分类验证， 并把各决策树 对每个样本分类结果进行加权平均， 计算错误率； 若错误率≥预设阈值epsilonk‑1， 则用Dk 训练出一棵决策树Tk， Tk能根据任意一个g预测出label(g)， 并将分类错误的样本放入数据 集Dk+1中， 执行S6； 若分类错误率小于预设阈值epsilonk‑1， 结束对测试模板test_case_ template的测试； S6： 根据Tk中所有的分类为第一类的叶子结点， 在g所在的N维空间中， 找到Tk将g的类别 标签预测为第一类的所有区域， 将这些区域取并集， 记为Rk； S7： 在g所在的N维空间中采样一批新的向量g_new， 且保证向量分布密度与g_new与Rk边 界的距离正相关； g_new形成集合G_new； 令k=k+1， 若k＜预设轮数阈值， 令Gk=G_new， 执行 S4， 开始下一轮测试； 否则， 结束对测试模板test_case_template的测试。 2.根据权利要求1所述的根据被测系统测试表现动态生成测试案例的智能测试方法， 其特征在于， 所述S4中， 为了得到Gk对应的数据集Dk， 首先生成测试模板test_case_ template的一个副本， 用g中si替换副本中的vari， 并将替换完成后的测试模板副本称为测 试案例， 记为H(g)； 用H(g)对被测系统进行测试， 得到测试评分score(g)， 再根据score(g) 为测试案例H(g)设置一个二分类的类别标签label(g)； 最后将二元组(  g， label(g)  )放入 测试表现数据集Dk中。 3.根据权利要求1所述的根据被测系统测试表现动态生成测试案例的智能测试方法， 其特征在于， 所述S7中保证向量分布密度与g_new距离R区域边界的距离正相关具体为G_ new内的向量满足以下 条件： （1） 距离Rk边界越近的位置， 向量分布得越密； （2） 新采样的向量与已被测试 过的向量有一定的距离 。 4.根据权利要求3所述的根据被测系统测试表现动态生成测试案例的智能测试方法， 其特征在于， 所述 新采样的向量g_new与已被测试 过的向量g_o ld的距离满足： g_new  ‑g_old在第 j维的投影绝对值大于等于djk, 其中g_old为属于 G1,G2,...,Gk并集 的任意向量，  djk为在第k轮时g_new与g_o ld在第j维的距离上的阈值。 5.根据权利要求1所述的根据被测系统测试表现动态生成测试案例的智能测试方法， 其特征在于， 所述类别标签label(g)为LOW或N ORMAL， 当测试评分score(g)小于设定的评分 阈值时， 类别标签label(g)为LOW， 当测试评分score(g)大于等于设定的评分阈值时， 类别权　利　要　求　书 1/2 页 2 CN 113821452 B 2标签label(g)为 NORMAL。 6.根据权利要求4所述的根据被测系统测试表现动态生成测试案例的智能测试方法， 其特征在于， djk满足如下 条件： djk=alpha* djk‑1 其中， alpha为预 先给定的正常数， 0 <alpha<1。权　利　要　求　书 2/2 页 3 CN 113821452 B 3