(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211195770.7 (22)申请日 2022.09.29 (71)申请人 北京航空航天大 学 地址 100083 北京市海淀区学院路37号 申请人 北京大学第三医院 （北京大 学第三 临床医学院） (72)发明人 杨照华　陈伊靖　王春勇　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 万慧华 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/26(2022.01) G06V 10/54(2022.01) G06V 10/56(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于人工智能和中医信息的面舌特征 分析方法及系统 (57)摘要 本发明涉及一种基于人工智能和中医信息 的面舌特征分析方法及系统， 该方法包括： 获取 人体面部、 舌部图像， 并进行图像分割， 得到 鼻部 图像和舌体图像， 并分别进行特征提取， 得到舌 体特征参数和鼻翼颜色特征参数； 获取用户个人 信息， 将鼻翼颜色特征参数、 舌体特征参数以及 用户个人信息进行融合得到融合参量； 搭建神经 网络模型， 将融合参量作为样本数据， 将若干带 有不同脾胃健康 状况的图像作为标签， 对神经网 络模型进行训练， 得到训练好的面舌特征分析模 型； 采用面舌特征分析模型对待测者的面舌特征 进行分析得到分析结果； 分析结果表征面舌特征 对人体脾胃健康 状况的影 响程度。 本发明能够提 高对人体面舌特征分析的准确性和全面性， 实现 中医数字化。 权利要求书4页 说明书11页 附图3页 CN 115424333 A 2022.12.02 CN 115424333 A 1.一种基于人工智能和中 医信息的面 舌特征分析方法， 其特 征在于， 所述方法包括： 获取人体的面部图像和舌部图像， 并对所述面部图像进行分割， 得到鼻部图像； 对所述 舌部图像进行分割， 得到舌体图像； 对所述舌体图像进行特征提取， 得到舌体特征参数； 所述舌体特征参数包括齿痕舌特 征参数、 裂纹舌特 征参数和厚腻苔 舌特征参数； 对所述鼻部 图像进行特征提取， 得到鼻翼颜色特征参数； 所述鼻翼颜色特征包括第一 鼻翼颜色特征参数、 第二鼻翼颜色特征参数、 第三鼻翼颜色特征参数和第四鼻翼颜色特征 参数； 获取用户个人信息， 并将所述鼻翼颜色特征参数、 所述舌体特征参数以及所述用户个 人信息进行融合， 得到融合 参量； 搭建神经网络模型， 将所述融合参量作为样本数据， 将若干带有不同脾胃健康状况的 图像作为标签， 对所述神经网络模型进行训练， 得到训练好的面 舌特征分析模型； 采用所述面舌特征分析模型对待测者的面舌特征进行分析， 得到分析结果； 所述分析 结果表征面 舌特征对人体脾胃健康状况的影响程度。 2.根据权利要求1所述的基于人工智能和中医信 息的面舌特征分析方法， 其特征在于， 所述齿痕舌特 征参数的特 征提取过程， 具体包括： 对所述舌体图像进行 滤波， 得到滤波后的舌体图像； 提取滤波后的舌体图像HSV空间分量， 得到舌体图像HSV空间分量； 对所述舌体图像HSV空间分量进行分割， 提取 出舌体图像HSV空间分量的左侧区域； 对所述舌体图像HSV空间分量的左侧区域对应的图像进行Ostu阈值二值化处理， 得到H 分量二值矩阵、 S分量二值矩阵和V分量二值矩阵， 并根据所述H 分量二值矩阵、 所述S分量二 值矩阵和所述V分量 二值矩阵， 得到二 值化结果； 对所述二值化结果进行 形态学处 理， 去掉空洞， 得到齿痕边 缘线； 提取所述齿痕边缘线中各边缘像素点的坐标， 根据 所述各边缘像素点的坐标确定齿痕 边缘线中的齿痕凹凸点， 并计算齿痕凹凸点个数； 计算所述齿痕凹凸点个数与边 缘像素点的总个数的比值， 得到齿痕舌特 征参数。 3.根据权利要求1所述的基于人工智能和中医信 息的面舌特征分析方法， 其特征在于， 所述裂纹舌特 征参数的特 征提取过程， 具体包括： 提取舌体图像的RGB色彩空间的B颜色 分量， 得到舌体图像的B颜色 分量图像； 采用拉普拉斯 算子卷积对所述 舌体图像的B颜色 分量图像进行锐化处 理； 对锐化处 理后的舌体图像的B颜色 分量图像进行 滤波处理； 对滤波后的舌体图像的B颜色 分量图像进行中间区域 提取， 得到裂纹区域图像； 对所述裂纹区域图像进行局部灰度一 致性参数检测， 得到所述裂纹舌特 征参数。 4.根据权利要求3所述的基于人工智能和中医信 息的面舌特征分析方法， 其特征在于， 对所述裂纹区域图像进行局部灰度一 致性参数检测的计算公式为： 其中， u表示裂纹舌特征参数， m为裂纹区域划分的个数， Ri表示裂纹区域的第i区域， Ai 表示Ri上的像素总数， f(x,y)表示Ri上坐标为(x,y)点的像素 灰度值。权　利　要　求　书 1/4 页 2 CN 115424333 A 25.根据权利要求1所述的基于人工智能和中医信 息的面舌特征分析方法， 其特征在于， 所述厚腻苔 舌特征参数的特 征提取过程， 具体包括： 提取舌体图像的RGB色彩空间 的G颜色分量、 B颜色分量以及HSV色彩空间的H颜色分量、 S颜色分量， 得到舌体图像的颜色分量图像组， 所述舌体图像的颜色分量图像组包括G颜色 分量图像、 B颜色 分量图像、 H颜色 分量图像以及S颜色 分量图像； 对所述舌体图像的颜色分量图像组进行滤波处理， 得到滤波后的舌体图像的颜色分量 图像组； 提取滤波后的舌体图像的颜色分量图像组 的中间区域， 得到舌中区域图像的颜色分量 图像组； 计算所述舌中区域图像的颜色分量图像组各自通道的像素平均值， 得到特征参数； 并 将所述特征参数作为厚腻苔舌特征参数； 所述特征参数包括第一特征参数、 第二特征参数、 第三特征参数和第四特 征参数。 6.根据权利要求1所述的基于人工智能和中医信 息的面舌特征分析方法， 其特征在于， 所述对所述鼻部图像进行 特征提取， 得到鼻翼颜色特 征参数， 具体包括： 提取鼻部图像的RGB色彩空间的R颜色分量、 G颜色分量和B颜色分量以及HSV色彩空间 的V颜色分量， 得到鼻部图像的颜色分量图像组； 所述鼻部图像的颜色分量图像组包括R颜 色分量图像、 G颜色 分量图像、 B颜色 分量图像以及V颜色 分量图像； 对所述鼻部图像的颜色分量图像组进行滤波处理， 得到滤波后的鼻部图像的颜色分量 图像组； 分别提取所述鼻部图像的颜色分量图像组 的鼻翼部位， 得到鼻翼图像的颜色分量图像 组； 计算所述鼻翼图像的颜色分量图像组各自通道的像素平均值， 得到所述第 一鼻翼颜色 特征参数、 所述第二鼻翼颜色特征参数、 所述第三鼻翼颜色特征参数和所述第四鼻翼颜色 特征参数。 7.一种基于人工智能和中 医信息的面 舌特征分析系统， 其特 征在于， 所述系统包括： 鼻部图像和舌体图像获取单元， 用于获取人体的面部 图像和舌部 图像， 并对所述面部 图像进行分割， 得到鼻部图像； 对所述 舌部图像进行分割， 得到舌体图像； 舌体特征参数确定单元， 用于对所述舌体图像进行特征提取， 得到舌体特征参数； 所述 舌体特征参数包括齿痕舌特 征参数、 裂纹舌特 征参数和厚腻苔 舌特征参数； 鼻翼颜色特征参数确定单元， 用于对所述鼻部 图像进行特征提取， 得到鼻翼颜色特征 参数； 所述鼻翼颜色特征包括第一鼻翼颜色特征参数、 第二鼻翼颜色特征参数、 第三鼻翼颜 色特征参数和第四鼻翼颜色特 征参数； 融合参量确定单元， 用于获取用户个人信 息， 并将所述鼻翼颜色特征参数、 所述舌体特 征参数以及所述用户个人信息进行融合， 得到融合 参量； 面舌特征分析模型构建单元， 搭建神经网络模型， 将所述融合参量作为样本数据， 将若 干带有不同脾胃健康状况 的图像作为标签， 对所述神经网络模型进行训练， 得到训练好的 面舌特征分析模型； 分析结果确定单元， 用于采用所述面舌特征分析模型对待测者的面舌特征进行分析， 得到分析 结果； 所述分析 结果表征面 舌特征对人体脾胃健康状况的影响程度。权　利　要　求　书 2/4 页 3 CN 115424333 A 3