(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210897685.9 (22)申请日 2022.07.28 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 王健宗　李泽远　司世景　 (74)专利代理 机构 深圳众鼎专利商标代理事务 所(普通合伙) 44325 专利代理师 张美君 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/332(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01)G06K 9/62(2022.01) (54)发明名称 检索式对话模型生成方法、 装置、 计算机设 备及存储介质 (57)摘要 本发明涉及预测模型领域， 尤其涉及一种检 索式对话模型生成方法、 装置、 计算机设备及存 储介质。 其方法包括： 获取训练数据集， 对初始训 练数据进行特征提取， 得到初始训练数据的初始 特征； 采用预训练语义模型对初始特征进行处 理， 得到初始训练数据的目标特征； 将目标特征 输入到初始高斯分类层进行模型训练， 获取模型 损失函数， 在模型损失函数达到收敛条件时， 得 到目标高斯 分类层； 基于预训练语义模 型和目标 高斯分类层， 生成检索式对话模型。 本发明的检 索式对话模型结合了预训练语义模型和目标高 斯分类层， 使得该检索式对话模 型对对话数据的 语义信息理解的更加充分， 同时， 对话数据的结 果分类的校准更加精准， 从而提高了对话结果的 准确性。 权利要求书2页 说明书8页 附图2页 CN 115203373 A 2022.10.18 CN 115203373 A 1.一种检索式对话模型生成方法， 其特 征在于， 包括： 获取训练数据集， 所述训练数据集包括初始训练数据； 对所述初始训练数据进行 特征提取， 得到所述初始训练数据的初始特 征； 采用预训练语义模型对所述初始训练数据的初始特征进行处理， 得到所述初始训练数 据的目标 特征； 将所述初始训练数据的目标特征输入到初始高斯分类层进行模型训练， 获取模型损失 函数， 在所述模型损失函数达 到收敛条件时， 得到目标高斯分类层； 基于所述预训练语义模型和所述目标高斯分类层， 生成所述检索式对话模型。 2.如权利要求1所述的检索式对话模型生成方法， 其特征在于， 所述训练数据集包括上 下文数据集和候选答案数据集， 所述上下文 数据集包括T个上下文训练数据， 所述候选答案 数据集包括 N个答案训练数据， T和N 为正整数； 所述对所述初始训练数据进行 特征提取， 得到所述初始训练数据的初始特 征， 包括： 对T个所述上 下文训练数据和任一所述 答案训练数据进行拼接， 得到第一训练数据； 对所述第一训练数据进行 特征提取， 得到所述初始训练数据的初始特 征。 3.如权利要求2所述的检索式对话模型生成方法， 其特征在于， 所述对T个所述上下文 训练数据和任一所述 答案训练数据进行拼接， 得到第一训练数据， 包括： 将分开字符设置在T个所述上下文训练数据和任一所述答案训练数据之间， 得到第一 拼接数据； 将开始字符设置在所述第一 拼接数据的首位置， 得到第一训练数据。 4.如权利要求1所述的检索式对话模型生成方法， 其特征在于， 所述采用预训练语义模 型对所述初始训练数据的初始特 征进行处 理， 得到所述初始训练数据的目标 特征， 包括： 采用预训练语义模型中的语义分析层， 对所述初始训练数据的初始特征进行语义分 析， 得到所述初始训练数据的语义特 征； 采用预训练语义模型中的谱归一化层， 对所述初始训练数据的语义特征进行谱归一化 处理， 得到所述初始训练数据的目标 特征。 5.如权利要求1所述的检索式对话模型生成方法， 其特征在于， 所述将所述初始训练数 据的目标特征输入到初始高斯分类层进行模型训练， 获取模型损失函数， 在所述模型损失 函数达到收敛条件时， 得到目标高斯分类层， 包括： 利用随机傅里叶算法， 对所述初始训练数据的目标特征进行降维处理， 得到随机傅里 叶特征； 利用拉普拉斯近似算法， 对所述随机傅里叶特征进行拉普拉斯近似处理， 得到拉普拉 斯后验值； 根据所述拉普拉斯后验值更新所述初始高斯分类层的初始参数， 直至所述初始参数趋 于稳定， 得到所述目标高斯分类层。 6.一种对话结果检索方法， 其特 征在于， 包括： 获取对话数据； 将所述对话数据输入权利要求1 ‑5任一项所述检索式对话模型中， 得到对话结果。 7.一种检索式对话模型生成装置， 其特 征在于， 包括： 训练数据集模块， 用于获取训练数据集， 所述训练数据集包括初始训练数据；权　利　要　求　书 1/2 页 2 CN 115203373 A 2初始特征模块， 用于对所述初始训练数据进行特征提取， 得到所述初始训练数据的初 始特征； 目标特征模块， 用于采用预训练语义模型对所述初始训练数据的初始特征进行处理， 得到所述初始训练数据的目标 特征； 目标高斯分类层模块， 用于将所述初始训练数据的目标特征输入到初始高斯分类层进 行模型训练， 获取模 型损失函数， 在所述模型损失函数达到收敛条件时， 得到目标高斯分类 层； 检索式对话模型模块， 用于基于所述预训练语义模型和所述目标高斯分类层， 生成所 述检索式对话模型。 8.一种对话结果检索装置， 其特 征在于， 包括： 对话数据模块， 用于获取对话数据； 对话结果模块， 用于将所述对话数据输入权利要求1 ‑5任一项所述检索式对话模型中， 得到对话结果。 9.一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器 上运行的计算机可读指令， 其特征在于， 所述处理器执行所述计算机可读指令时实现如权 利要求1至5中任一项 所述检索式对话模型生 成方法， 或者所述处理器执行所述计算机可读 指令时实现如权利要求6中对话结果检索方法。 10.一个或多个存储有计算机可读指令的可读存储介质， 其特征在于， 所述计算机可读 指令被一个或多个处理器执行时， 使得所述一个或多个处理器执行如权利要求 1至5中任一 项所述检索式对话模型生成方法， 或者所述处理器执行所述计算机可读指 令时实现如权利 要求6中对话结果检索方法。权　利　要　求　书 2/2 页 3 CN 115203373 A 3