(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211216902.X (22)申请日 2022.09.30 (71)申请人 贵州小爱机 器人科技有限公司 地址 550017 贵州省贵阳市白云区都拉营 综保路349号海关大楼8楼801 申请人 上海智臻智能网络科技股份有限公 司 (72)发明人 梁志明　张小晶　林荣荣　支天波　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 蔡舒野 (51)Int.Cl. G06F 16/332(2019.01) G06Q 50/06(2012.01) G06V 30/19(2022.01) (54)发明名称 知识标签的识别、 电网场景问答方法、 装置、 设备及介质 (57)摘要 本发明公开了一种知识标签的识别、 电网场 景问答方法、 装置、 设备及介质。 知 识标签的识别 方法包括： 将目标图像输入至预先训练的标签识 别模型中， 标签识别模型包括标准弱模态特征网 络和标准标签网络； 通过标准弱模态特征网络提 取目标图像中的目标弱模态特征， 并将目标弱模 态特征输 出至标准标签网络； 通过标准标签网络 根据目标弱模态特征， 生 成对目标图像的知 识标 签识别结果； 其中， 标签识别模型使用各样本图 像中预先标注的样本强模态特征和知识标签信 息共同训练得到。 通过采用上述技术方案， 能够 利用图像中的弱模态特征， 精 准输出图像的知识 标签识别结果。 权利要求书3页 说明书10页 附图5页 CN 115510207 A 2022.12.23 CN 115510207 A 1.一种知识标签的识别方法， 其特 征在于， 包括： 将目标图像输入至预先训练 的标签识别模型中， 标签识别模型包括标准弱模态特征网 络和标准标签网络； 通过标准弱模态特征网络提取目标图像中的目标弱模态特征， 并将目标弱模态特征输 出至标准标签网络； 通过标准标签网络根据目标弱模态特 征， 生成对目标图像的知识标签识别结果； 其中， 标签识别模型使用各样本图像中预先标注的样本强模态特征和知识标签信 息共 同训练得到 。 2.根据权利要求1所述的方法， 其特征在于， 在将目标图像输入至预先训练的标签识别 模型中之前， 还 包括： 依次获取当前样本图像输入至待训练 的弱模态标签网络中， 弱模态标签网络包括原始 弱模态特 征网络、 强模态特 征网络和原 始标签网络； 通过原始弱模态特征网络提取当前样本图像中的当前弱模态特征， 并将当前弱模态特 征分别输入至强模态特 征网络和原 始标签网络； 通过强模态特征网络将当前弱模态特征与当前样本 图像标注的样本强模态特征进行 特征融合， 并将融合得到的当前多模态特 征输入至原 始标签网络； 通过原始标签网络生成与当前弱模态特征对应的第 一知识标签识别结果， 并生成与当 前多模态特 征对应的第二知识标签识别结果； 根据第一知识标签识别结果、 第 二标签识别结果和当前样本图像标注的知识标签信 息 之间的差异， 对弱模态标签网络进行模型参数的调整； 返回执行依次获取当前样本图像输入至待训练的弱模态标签网络 中的操作， 直至完成 对弱模态标签网络的训练； 使用训练得到的弱模态标签网络 中的原始弱模态特征网络和原始标签网络， 构建标签 识别模型。 3.根据权利要求2所述的方法， 其特征在于， 根据第一知识标签识别结果、 第二标签识 别结果和当前样本图像标注的知识标签信息之 间的差异， 对弱模态标签网络进行模型参数 的调整， 包括： 根据第一知识标签识别结果和当前样本图像标注的知识标签信 息之间的差异， 计算得 到第一损失函数值； 根据第二知识标签识别结果和当前样本图像标注的知识标签信 息之间的差异， 计算得 到第二损失函数值； 根据第一损失函数值和第二损失函数值， 计算得到目标损失函数； 使用目标损失函数， 对弱模态标签网络进行模型参数的调整。 4.根据权利要求2所述的方法， 其特征在于， 在对弱模态标签网络进行模型调整的过程 中， 强模态特征网络逐步由样本强模态特征 的完全融合过渡至样本强模态特征 的不融合， 以逐渐弱化强模态特 征对模型训练的影响； 和/或 所述待训练的弱模态标签网络为设定的预训练模型。 5.一种电网场景的问答方法， 其特 征在于， 包括：权　利　要　求　书 1/3 页 2 CN 115510207 A 2获取电网场景问题图像； 将电网场景问题图像输入至预先训练 的电网标签识别模型中， 电网标签识别模型包括 标准电网弱模态特 征网络和标准电网标签网络； 通过标准电网弱模态特征网络提取电网场景问题图像中的电网弱模态特征， 并将电网 弱模态特 征输出至标准电网标签网络； 通过标准电网标签网络根据 所述电网弱模态特征， 生成对电网场景问题图像的电网知 识标签识别结果； 其中， 电网标签识别模型使用各电网场景样本图像中预先标注的电网强模态特征和电 网知识标签信息共同训练得到； 在电网知识问答对中筛选与电网知识标签识别结果匹配的目标电网知识问， 并将与目 标电网知识问匹配的目标电网知识答作为对电网场景问题图像的反馈结果。 6.根据权利要求5所述的方法， 其特征在于， 所述电网弱模态特征包括： 图像中至少一 个电网元 素的外形 特征和/或通用属性； 所述电网强模态特 征包括： 图像中至少一个电网元 素的唯一身份标识。 7.一种知识标签的识别装置， 其特 征在于， 包括： 目标图像输入模块， 用于将目标图像输入至预先训练的标签识别模型中， 标签识别模 型包括标准弱模态特 征网络和标准标签网络； 目标弱模态特征提取模块， 用于通过标准弱模态特征网络提取目标图像中的目标弱模 态特征， 并将目标弱模态特 征输出至标准标签网络； 知识标签识别结果生成模块， 用于通过标准标签网络根据目标弱模态特征， 生成对目 标图像的知识标签识别结果； 其中， 标签识别模型使用各样本图像中预先标注的样本强模态特征和知识标签信 息共 同训练得到 。 8.一种电网场景的问答装置， 其特 征在于， 包括： 电网场景问题图像获取模块， 用于获取电网场景问题图像； 电网场景问题图像输入模块， 用于将电网场景问题图像输入至预先训练 的电网标签识 别模型中， 电网标签识别模型包括标准电网弱模态特 征网络和标准电网标签网络； 电网弱模态特征提取模块， 用于通过标准电网弱模态特征网络提取电网场景问题图像 中的电网弱模态特 征， 并将电网弱模态特 征输出至标准电网标签网络； 电网知识标签识别结果生成模块， 用于通过标准电网标签网络根据所述电网弱模态特 征， 生成对电网场景问题图像的电网知识标签识别结果； 其中， 电网标签识别模型使用各电网场景样本图像中预先标注的电网强模态特征和电 网知识标签信息共同训练得到； 目标电网知识答反馈模块， 用于在电网知识问答对中筛选与电网知识标签识别结果匹 配的目标电网知识问， 并将与目标电网知识问匹配的目标电网知识 答作为对电网场景问题 图像的反馈结果。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中，权　利　要　求　书 2/3 页 3 CN 115510207 A 3