(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210507697.6 (22)申请日 2022.05.10 (71)申请人 湘南学院 地址 423000 湖南省郴州市人民西路25号 (72)发明人 谢菊英　彭璐琪　王灵　胡丽萍　 石俊林　黄敏　曹夏　陈菁　肖丽　 (74)专利代理 机构 西安研创天下知识产权代理 事务所(普通 合伙) 61239 专利代理师 郭璐 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/269(2017.01) G06V 10/46(2022.01) G06V 10/74(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于图像处理和多特征融合的肢体康 复训练方法及系统 (57)摘要 本发明涉及图像处理技术领域， 具体涉及一 种基于图像处理和多特征融合的肢体康复训练 方法与系统， 该方法包括： 获取患者进行康复动 作时的待分析图像和参考图像以及标准康复动 作的标准图像； 基于光流法获取各图像上的关键 点的运动矢量， 同时基于肢体协调性、 对称性、 动 作匹配性得到的运动矢量作为指导运动矢量， 对 待分析图像的真实运动矢量进行搜索， 得到各关 键点的最终运动矢量； 根据所述最终运动矢量对 各关键点进行匹配， 得到相匹配的标准关键点， 根据参与同一康复动作的关键点的连线完成动 作形成的面积与标准关键点的连线完成动作形 成的面积得该康复动作的完成程度评价。 本发明 能够客观科学的评估患者康复训练状况， 促使患 者长期坚持训练。 权利要求书2页 说明书10页 附图1页 CN 115035037 A 2022.09.09 CN 115035037 A 1.一种基于 图像处理和多特征融合的肢体康复训练方法， 其特征在于， 该方法包括以 下步骤： 获取患者进行康复动作时的当前帧和上一帧包含人体关键点的图像， 分别记为待分析 图像和参考图像； 并获取各帧包含标准康复动作的图像记为标准图像， 所述标准图像上 的 人体关键点为标准关键点； 基于参考图像利用光流法获取待分析图像上各关键点的初始 运 动矢量； 根据待分析图像上各关键点到其他关键点的距离得到各关键点的影响程度权重， 利用 影响程度权重与初始 运动矢量的乘积得到各关键点的第一指导运动矢量； 各关键点的对称 关键点的初始运动矢量 为各关键点的第二指导 运动矢量； 基于待分析图像上各关键点的初始运动矢量与各标准图像上对应标准关键点的运动 矢量的角度差异， 获得与各待分析图像上各关键点相匹配的预设数量的标准关键点； 对预 设数量的标准关键点的运动矢量进行加权求和得到第三指导 运动矢量； 基于待分析图像中各关键点的初始运动矢量、 第一、 第二和第三指导运动矢量得到各 关键点的全局运动矢量； 基于全局运动矢量 获得与参与动作的各关键点相匹配的标准关键 点， 记为匹配关键点； 根据参与同一康复动作的关键点的连线及其对应的全局运动矢量、 对 应的匹配关键点的连线和匹配关键点的运动矢量获得 该康复动作的完成程度评价。 2.根据权利要求1所述的一种基于图像处理和多特征融合的肢体康复训练方法， 其特 征在于， 所述获取患者进行康复动作时的当前帧和上一帧包 含人体关键点的图像具体为： 获取患者进行康复动作时的当前帧和上一帧的图像， 并分别对获取的图像进行人体关 键点检测， 得到待分析图像和参 考图像。 3.根据权利要求1所述的一种基于图像处理和多特征融合的肢体康复训练方法， 其特 征在于， 所述各标准图像上对应标准关键点的运动矢量具体为： 分别以上一帧标准图像作 为参考， 并利用光 流法获取 各帧标准图像上 标准关键点的运动矢量。 4.根据权利要求1所述的一种基于图像处理和多特征融合的肢体康复训练方法， 其特 征在于， 所述第三指导 运动矢量的获取 方法具体为： 根据待分析图像上各关键点的初始运动矢量与各标准图像上对应标准关键点的运动 矢量的角度差得到匹配程度； 获取各关键点对应的康复动作在 当前时刻已经进行的时间长度， 以及所述预设数量的 标准关键点对应的康复动作所需时间长度； 根据各关键点对应的时间长度分别与所述预设数量的标准关键点对应的时间长度的 比值、 以及关键点分别与预设数量的标准关键点对应的匹配程度的乘积， 得到预设数量的 各标准关键点的匹配程度权 重； 根据所述匹配程度权重与 预设数量的标准关键点的运动矢量的乘积之和， 得到第 三指 导运动矢量。 5.根据权利要求1所述的一种基于图像处理和多特征融合的肢体康复训练方法， 其特 征在于， 所述全局运动矢量的获取 方法具体为： 分别以关键点的初始运动矢量、 第 一指导运动矢量、 第 二指导运动矢量、 第 三指导运动 矢量的终点位置为搜索中心， 利用三步搜索法得到待分析图像上各关键点的全局运动矢 量。权　利　要　求　书 1/2 页 2 CN 115035037 A 26.根据权利要求1所述的一种基于图像处理和多特征融合的肢体康复训练方法， 其特 征在于， 所述匹配关键点的获取 方法具体为： 根据待分析图像上各关键点的全局运动矢量与各标准图像上对应标准关键点的运动 矢量的角度差得到匹配程度； 获取匹配程度小于程度阈值的标准关键点记为匹配关键点。 7.根据权利要求1所述的一种基于图像处理和多特征融合的肢体康复训练方法， 其特 征在于， 所述完成程度评价的获取 方法具体为： 根据参与同一康复动作的关键点的连线与对应的全局运动矢量得到当前时刻进行该 康复动作形成的面积， 根据对应的匹配关键点和运动矢量得到对应的标准动作完成时形成 的面积， 根据两个所述形成的面积之比得到各康复运行的完成程度评价。 8.一种基于 图像处理和多特征融合的肢体康复训练系统， 包括存储器、 处理器以及存 储在存储器上并可在处理器上运行 的计算机程序， 其特征在于， 所述计算机程序被处理器 执行时实现如权利要求1至7任一项所述一种基于图像处理和多特征融合的肢体康复训练 方法的步骤。权　利　要　求　书 2/2 页 3 CN 115035037 A 3