(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210511777.9 (22)申请日 2022.05.11 (71)申请人 北京医准智能科技有限公司 地址 100083 北京市海淀区知春路7号 致真 大厦A座12层1202-120 3号 (72)发明人 马璐　李小星　丁佳　吕晨翀　 (74)专利代理 机构 北京乐知新创知识产权代理 事务所(普通 合伙) 11734 专利代理师 江宇 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/42(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 超声图像的特征提取方法、 装置、 电子设备 及存储介质 (57)摘要 本公开提供了超声图像的特征提取方法、 装 置、 电子设备及存储介质， 包括： 通过图像特征编 码器和文本特征编码器对超声图像和诊断报告 进行特征提取， 得到图像特征和文本特征； 对超 声图像和任意诊断报告， 根据图像特征和文本特 征确定该超声图像与诊断报告之间的第一余弦 相似度， 根据第一余弦相似度， 得到全局损失； 对 超声图像和其匹配的诊断报告， 根据图像特征和 文本特征， 确定各图像块之间的第二余弦相似度 和各句子的第三余弦相似度， 根据第二余弦相似 度和第三余弦相似度得到图像局部损失和文本 局部损失； 根据全局损失、 图像局部损失和文本 局部损失优化图像特征编码器和文本特征编码 器； 通过优化后的图像特征编码器对待处理的超 声图像进行 特征提取。 权利要求书3页 说明书14页 附图4页 CN 114998607 A 2022.09.02 CN 114998607 A 1.一种超声图像的特 征提取方法， 其特 征在于， 所述方法包括： 获取多张超声图像和与所述超声图像匹配的诊断报告， 并通过图像特征编码器对所述 超声图像进行特征提取， 得到图像特征， 通过文本特征编码器对所述诊断报告进行特征提 取， 得到文本特 征； 对于所述超声图像和任意一个诊断报告， 根据该超声图像的图像特征和该诊断报告的 文本特征确定该超声图像与该诊断报告之 间的第一余弦相似度， 并根据所述第一余弦相似 度， 得到全局损失； 对于所述超声图像和与其匹配的诊断报告， 根据 该超声图像的图像特征和该诊断报告 的文本特征， 确定该超声图像中各图像块之间的第二余弦相似度以及该诊断报告中各句子 的第三余弦相似度， 并根据所述第二余弦相似度得到图像局部损失， 根据所述第三余弦相 似度， 得到文本局部损失； 根据所述全局损失、 图像局部损失和文本局部损失对所述图像特征编码器和所述文本 特征编码器进行优化； 通过优化后的所述图像特 征编码器对待处 理的超声图像进行 特征提取。 2.根据权利要求1所述的方法， 其特征在于， 所述根据该超声图像的图像特征和该诊断 报告的文本特 征确定该超声图像与该诊断报告之间的第一 余弦相似度， 包括： 分别对所述图像特征和所述文本特征进行降维处理， 得到所述超声图像的图像全局特 征和所述诊断报告的文本全局特 征； 根据所述图像全局特征和所述文本全局特征， 确定所述超声图像与 所述诊断报告之间 的第一余弦相似度。 3.根据权利要求1或2所述的方法， 其特征在于， 所述根据所述第一余弦相似度， 得到全 局损失， 包括： 通过如下公式计算全局损失L oss1： 其中， N为获取的超声图像或诊断报告的数量； 表示第i个超声图像的图像全局 特征； 表示第i个诊 断报告的文本全局特征； 表示第j个超声图像的图像全 局特征； 表示第j个诊断报告的文本全局特征； τ是温度超参数； α为超声图像的权 重； 和 为第一余弦相似度； 其中， 第i个超声图像与 第i个诊断报告匹配。 4.根据权利要求1所述的方法， 其特征在于， 所述根据该超声图像的图像特征和该诊断 报告的文本特征， 确定该超声图像中各图像块之间的第二余弦相似度以及该诊断报告中各 句子的第三 余弦相似度， 包括： 根据所述图像特 征得到所述超声图像中各图像块的图像区域特 征； 根据所述文本特 征得到所述诊断报告中各句子的文本句子特 征；权　利　要　求　书 1/3 页 2 CN 114998607 A 2根据所述超声图像的所有图像区域特征和所述诊断报告的所有文本句子特征确定所 述超声图像中各图像块之间的第二 余弦相似度； 根据所述超声图像的所有图像区域特征和所述句子的文本句子特征确定所述句子的 第三余弦相似度。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述超声图像的所有图像区域特 征和所述诊断报告的所有文本句子特征确定所述超声图像中各图像块之间的第二余弦相 似度， 包括： 根据所述图像块的图像区域特征和所述句子的文本句子特征， 确定所述图像块与 所述 句子之间的第一关联度； 对所述诊断报告的所有文本句子特征进行加权计算， 得到所述图像块的图像区域融合 特征， 所述文本句子特 征的权重为对应的句子与该图像块之间的第一关联度； 根据任意两个图像块各自的图像区域特征和图像区域融合特征， 确定所述两个图像块 之间的第二 余弦相似度。 6.根据权利要求4所述的方法， 其特征在于， 所述根据所述超声图像的所有图像区域特 征和所述句子的文本句子特 征确定所述句子的第三 余弦相似度， 包括： 根据所述句子的文本句子特征和所述图像块的图像区域特征， 确定所述句子与所述图 像块之间的第二关联度； 对所述超声图像的所有图像区域特征进行加权计算， 得到所述句子的文本句子 融合特 征， 所述图像区域特 征的权重为对应的图像块与该句子之间的第二关联度； 根据所述句子的文本句子特征和文本句子融合特征， 确定所述句子的第三余弦相似 度。 7.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 二余弦相似度得到图像局 部损失， 根据所述第三 余弦相似度， 得到文本局部损失， 包括： 根据所述超声图像中两个图像块之间的距离， 确定该两个图像块之间的相似度； 对所 有超声图像的各图像块之 间的第二余弦相似度进 行加权计算， 得到图像局部损失， 其中， 所 述图像块之间的第二 余弦相似度的权 重为该两个图像块之间的相似度； 对所有诊断报告的所有句子的第三 余弦相似度进行加 和计算， 得到文本局部损失。 8.一种超声图像的特 征提取装置， 其特 征在于， 所述装置包括： 特征提取模块， 用于获取多张超声图像和与所述超声图像匹配的诊断报告， 并通过图 像特征编码器对所述超声图像进行特征提取， 得到图像特征， 通过文本特征编码器对所述 诊断报告 进行特征提取， 得到文本特 征； 全局匹配模块， 用于对于所述超声图像和任意一个诊断报告， 根据该超声图像的图像 特征和该诊断报告的文本特征确定该超声图像与该诊断报告之 间的第一余弦相似度， 并根 据所述第一 余弦相似度， 得到全局损失； 局部匹配模块， 用于对于所述超声图像和与其匹配的诊断报告， 根据该超声图像的图 像特征和该诊断报告的文本特征， 确定该超声图像中各图像块之 间的第二余弦相似度以及 该诊断报告中各句 子的第三余弦相似度， 并根据所述第二余弦相似度得到图像局部损失， 根据所述第三 余弦相似度， 得到文本局部损失； 模型优化模块， 用于根据所述全局损 失、 图像局部损 失和文本局部损 失对所述图像特权　利　要　求　书 2/3 页 3 CN 114998607 A 3