(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210901140.0 (22)申请日 2022.07.28 (71)申请人 天津大学 地址 300350 天津市津南区海河教育园区 雅观路13 5号天津大 学北洋园校区 (72)发明人 王龙标　王士权　党建武　 (74)专利代理 机构 北京智桥联合知识产权代理 事务所(普通 合伙) 11560 专利代理师 程小艳 (51)Int.Cl. G06F 16/9032(2019.01) G06F 16/9035(2019.01) G06F 40/30(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种知识对话生成中主题驱动的知识选择 方法 (57)摘要 本发明公开了一种知识对话生成中主题驱 动的知识选择方法。 首先构建融合主题信息的上 下文编码器与知识编码器,上下文编码器和知识 编码器用于提取训练语料中第t 轮对话的上下文 信息xt， 真实回复信息yt,主题信息ft和外部知识 信息kt； 然后构建主题驱动的知识选择器， 主题 驱动的知识选择器的主要目的是根据主题信息 和上下文信息从候选知识句子中选择出合适的 知识。 知识选择器还关注先前轮选择的知识信息 并将其建模为潜在变量， 从而对多轮知识选择和 回复生成进行联合推理。 最后构建知识感知生成 解码器， 知识感知生成解码器的主要目的是根据 知识选择器选择出的知识信息 上下文信息xt 和主题信息ft生成第t轮对话的回复yt。 权利要求书3页 说明书5页 附图1页 CN 115186149 A 2022.10.14 CN 115186149 A 1.一种知识对话 生成中主题驱动的知识选择 方法， 其特 征在于， 包括以下步骤： (1)构建融合主题信息的上 下文编码器与知识编码器 上下文编码器和知 识编码器用于提取训练语料中第t 轮对话的上下文信息xt， 真实回复 信息yt， 主题信息ft和外部知识信息kt； 它不仅充分利用大量数据预训练的优势， 还通过双 向注意力机制将主题信息和上 下文信息进行融合编码得到 (2)构建主题驱动的知识选择器 主题驱动的知识选择器的主要目的是根据主题信息和上下文信息从候选知识句子中 选择出合适的知识； 为了选择更合适的知识， 我们构建的知识选择器还关注先前轮选择 的 知识信息并将其建模为潜在变量， 从而对多轮知识选择和回复生成进行 联合推理； 具体来说， 给定编码的主题信息ft、 上下文信息xt、 外部知识信息kt、 先前选择的知识 和真实回复信息yt， 知识选择器将充分利用这些信息 选择合适的 (3)构建知识感知生成解码器 知识感知生成解码器的主要目的是根据知识选择器选择出的知识信息 上下文信息 xt和主题信息ft生成第t轮对话的真实回复信息yt； 步骤(1)中， 在训练语料中的每段对话由上 下文， 回复和给定的知识信息构成； 其中， 每段对话中的上下文信息表示为 表示对话上下文信息中的 第i个单词； 每段对话中的真实回复信息表示为 表示回复信息中的第j 个单词； 候选知识信息表示 为 首先， 上下文编码器和知识编码器 由基于transformer的bert编码器组成， 它由N层多 头注意力机制和前馈神经网络构成； 它将上下文信息xt， 外部知识信息kt和真实回复信息yt分别与主题信息ft进行编码得到 相应的输出， 具体 计算公式如下 所示： 2.根据权利要求1所述一种知识对话生成中主题驱动的知识选择方法， 其特征在于， 步 骤(2)中， 知识选择模块的主要目标是根据主题信息和上下文信息从候选知识句子中选择 合适的知识， 关注先前选择的知识信息， 将其建模为潜在变量， 从而对多轮知识选择和响应 生成进行 联合推理； 具体来说， 给定编码的主题信息ft、 上下文信息xt、 外部知识信息kt、 先前选择的知识 和仅在训练阶段的真实响应yt， 知识选择 方法将充分利用这些信息 选择合适的 在训练阶段， 真实回复信息yt被用于伪标签来帮助选 择合适的知 识信息， 此时知 识的选 择基于后验分布， 表示 为 权　利　要　求　书 1/3 页 2 CN 115186149 A 2其中 是GRU网络的隐藏状态， 是另一个GRU网 络的隐藏状态， 初始化状态 Wpost是可训练的参数， 随后 由以下公式采样得 出； 在测试阶段， 由于真实回复信息是 未知的， 此时的知识选择基于先验知识分布， 表示 为 这里Wprior是可训练的参数， 在测试阶段， 知识的选择由以下公式得 出： 紧接着将采样到的知识信息送入知识感知生成解码器用于生成回复。 3.根据权利要求1所述一种融合显 式和隐式个性化信 息的对话生成方法， 其特征在于， 步骤(3)中， 根据知识选择模块选择到的知识信息以及 主题信息和上下文信息来生 成第t轮 的回复信息； 使用GRU作为解码器的基本网络结构， 每个时刻解码器可以生成两种类型的词， 分别是 词表中的词和复制得到的词， 最 开始解码器首 先根据以下公式更新 解码器状态， st＝GRUD(st‑1， [o(yt‑1)； hk； hf]) s0＝WD[hc； hk； hf]+bD 这里的WD和bD是可学习的参数， o(yt‑1)表示最后一步的编码表示， 词表中的词由以下公 式采样得到： pv(yt＝w)＝softmax(wT(WVst+bV)) WV和bV是可学习的参数， w是词表W的o ne‑hot向量， 复制词由以下公式采样得 出： 这里的H是一个全连接层， 激活函数为tanh； 上面的两种分布由以下公式灵活结合： p(yt＝w)＝(1‑α )*pv(yt＝w)+α *pc(yt＝w) 这里的α 是超参数， 并且设置为0.5； 接着我们根据以下公式得到生成的词： yt＝arg maxw∈vp(yt＝w) 为了缩小真实回复和模型生成回复之间的差距， 使用N LL损失来完成： 同时， 由于真实反应在训练阶段是已知的， 可以使用后验分布来选择知识， 但在测试阶权　利　要　求　书 2/3 页 3 CN 115186149 A 3