(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211126407.X (22)申请日 2022.09.16 (71)申请人 佛山市顺德区智慧科技产业创新研 究院 地址 528325 广东省佛山市顺德区杏坛镇 顺业西路15号中集智能制造中心1栋 301之二 申请人 广东融谷创新产业园有限公司 (72)发明人 韩冠亚　李金茗　谭敏仪　 (51)Int.Cl. G06V 10/774(2022.01) A61B 5/00(2006.01) A61B 5/01(2006.01) A61B 5/08(2006.01) G06N 20/00(2019.01) G06V 10/25(2022.01) (54)发明名称 一种基于深度学习的低成本体征监测方法 与系统 (57)摘要 本发明公开了一种基于深度学习的低成本 体征监测方法与系统。 包括： 使用红外摄像机对 监测对象的活动进行拍摄， 获取其一段时间内的 IRT图像； 对IRT图像帧进行标记和预处理， 获得 具有监测对象头部和胸部这两类目标边界框标 注的数据集； 使用所述数据集， 训练和验证目标 检测模型； 使用所述目标检测模 型定位监测对象 头部， 估计温度变化趋势； 对获得的监测对象IRT 图像使用时间滤波算法和光流算法， 估计呼吸频 率。 本发明使用低分辨率的红外相机拍摄监测对 象的IRT图像， 基于深度学习的对象检测模型， 应 用成本更低， 可以保证监测对象的舒适性， 使用 的约束条件较少， 有利于实际应用中推广。 同时， 本发明使用端到端的方法， 能够完成呼吸频率的 实时估算。 权利要求书3页 说明书6页 附图3页 CN 115512178 A 2022.12.23 CN 115512178 A 1.一种基于深度学习的低成本体征监测方法， 其特 征在于， 所述方法包括： 确定红外摄像机的热敏感度和拍摄记录速度， 使用所述红外摄像机对监测对象的活动 进行拍摄， 获得监测对象在一段时间内的红外热成像IRT图像， 并将其随机划分为训练集、 验证集和 测试集； 对所述IRT图像的图像帧进行标记和预处理， 获得具有监测对象头部和胸部这两类目 标边界框标注的数据集； 使用所述数据集， 完成目标检测器的训练和验证， 获得能够检测出图像帧中监测对象 头部和胸部的目标检测模型； 使用所述红外摄像机对监测对象的生命活动进行监测和记录， 获得监测对象IRT图像， 使用所述目标检测模型定位 监测对象头 部， 估计温度变化趋势； 对所述获得的监测对象IRT图像使用时间滤波算法和光 流算法， 估计呼吸频率。 2.如权利要求1所述的基于深度 学习的低成本体征监测方法， 其特征在于， 所述对所述 IRT图像的图像 帧进行标记和预处理， 获得具有监测对象头部和胸部这两类目标边界框标 注的数据集， 具体为： 对所述IRT图像的所有图像帧都根据最小温度值和最大温度值进行归一 化处理； 使用“Yolo_mark ”工具对所述归一化后的图像帧执行真实标签标记， 分别用边界框标 记监测对象头 部和胸部在图像帧中的位置， 获得 带标注的图像帧。 3.如权利要求1所述的基于深度 学习的低成本体征监测方法， 其特征在于， 所述使用所 述数据集， 完成目标检测器的训练和验证， 获得能够检测出图像 帧中监测对 象头部和胸部 的目标检测模型， 具体为： 以所述带 标注的图像帧作为数据集， 使用YOLOv4 算法进行目标检测模型的训练； 在一个GPU上训练模型权重， 进行多次迭代， 通过评估验证集上的推理结果， 使用早期 停止来防止过拟合； 采用10倍交叉验证来评估模型的性能， 并在训练步骤中获得泛化过程的估计值， 获得 训练后的目标检测模型。 4.如权利要求1所述的基于深度 学习的低成本体征监测方法， 其特征在于， 所述使用所 述红外摄像机对监测对象的生命活动进 行监测和记录， 获得监测对象I RT图像， 使用所述目 标检测模型定位 监测对象头 部， 估计温度变化趋势， 具体为： 将所述监测对象IRT图像的图像帧输入到所述目标检测模型中， 用边界框定位监测对 象的头部区域； 使用所述边界框裁剪面部部位， 选择边界框中的最大温度值作为面部温度， 进而在连 续的图像帧中生成 温度变化趋势。 5.如权利要求1所述的基于深度 学习的低成本体征监测方法， 其特征在于， 所述对所述 获得的监测对象IRT图像使用时间滤波算法和光 流算法， 估计呼吸频率， 具体为： 将所述监测对象IRT图像的图像帧输入到所述目标检测模型中， 用边界框定位并裁剪 监测对象的胸部区域； 使用时间滤波算法， 对获得的所述胸部裁剪区域降噪， 对前三帧(t ‑2,t‑1,t)使用像素 平均操作， 作为 “上一帧”， 对后三帧(t ‑1,t,t+1)使用像素平均操作， 作为 “当前帧”； 将生成的所述 “上一帧”和“当前帧”输入到由OpenCV实现的光流算法中， 获得位移场，权　利　要　求　书 1/3 页 2 CN 115512178 A 2即胸部区域每 个像素的运动； 对生成的所有位移向量进行空间平均， 以提取胸部的平均运动； 使用二阶巴特沃斯带通滤波器对生成的胸部运动信号进行滤波， 与呼吸相关的截止频 率分别为0.15Hz和0.44Hz， 然后计算滤波信号的自相关来量化信号的自相似性， 最后选择 呼吸频率范围内的最大峰值 来计算呼吸频率。 6.一种基于深度学习的低成本体征监测系统， 其特 征在于， 所述系统包括： IRT图像记录单元， 用于确定红外摄像机的热敏感度和拍摄记录速度， 使用所述红外摄 像机对监测对象的活动进 行拍摄， 获得监测对象在一段时间内的I RT图像， 并将其随机划分 为训练集、 验证集和 测试集； 数据集采集单元， 用于对所述IRT图像的图像帧进行标记和预处理， 获得具有监测对象 头部和胸部这两类目标边界框标注的数据集； 目标检测模型训练单元， 用于使用所述数据集， 完成目标检测器的训练和验证， 获得能 够检测出图像帧中监测对象头 部和胸部的目标检测模型； 温度变化趋势生成单元， 用于使用所述红外摄像机对监测对象的生命活动进行监测和 记录， 获得监测对象IRT图像， 使用所述目标检测模型定位监测对象头部， 估计温度变化趋 势； 呼吸频率计算单元， 对所述获得的监测对象IRT图像使用时间滤波算法和光流算法， 估 计呼吸频率。 7.如权利要求6所述的基于深度 学习的低成本体征监测系统， 其特征在于， 所述数据集 采集单元， 需要对所述IRT图像的所有图像帧都根据最小温度值和最大温度值进行归一化 处理； 使用 “Yolo_mark”工具对所述归一化后的图像帧执行真实标签标记， 分别用边界框标 记监测对象头 部和胸部在图像帧中的位置， 获得 带标注的图像帧。 8.如权利要求6所述的基于深度 学习的低成本体征监测系统， 其特征在于， 所述目标检 测模型训练单元， 需要以所述带标注的图像帧作为数据集， 使用YOLOv4算法进行目标检测 模型的训练； 在一个GPU 上训练模 型权重， 进行多次迭代， 通过评估验证集上的推理结果， 使 用早期停止来防止过拟合； 采用10倍交叉验证来评估模型 的性能， 并在训练步骤中获得泛 化过程的估计值， 获得训练后的目标检测模型。 9.如权利要求6所述的基于深度 学习的低成本体征监测系统， 其特征在于， 所述温度变 化趋势生成单元， 需要将所述监测对象I RT图像的图像帧输入到所述目标检测模 型中， 用边 界框定位监测对 象的头部区域； 使用所述边界框裁剪面部部位， 选择边界框中的最大温度 值作为面部温度， 进 而在连续的图像帧中生成 温度变化趋势。 10.如权利要求6所述的一种基于深度学习的低成本体征监测系统， 其特征在于， 所述 呼吸频率计算单元， 需要将所述监测对象I RT图像的图像帧输入到所述目标检测模 型中， 用 边界框定位并裁剪监测对 象的胸部区域； 使用时间滤波算法， 对获得 的所述胸部裁剪区域 降噪， 对前三帧(t ‑2,t‑1,t)使用像素平均 操作， 作为 “上一帧”， 对后三帧(t ‑1,t,t+1)使用 像素平均操作， 作为 “当前帧”； 将生成的所述 “上一帧”和“当前帧”输入到由OpenCV实现的 光流算法中， 获得位移场， 即胸部区域每个像素的运动； 对生成的所有位移向量进 行空间平 均， 以提取胸部的平均运动； 使用二阶巴特沃斯带通滤波器对生成的胸部运动信号进行滤 波， 与呼吸相关的截止频率分别为0.15Hz和0.44Hz， 然后计算滤波信号的自相关来量化信权　利　要　求　书 2/3 页 3 CN 115512178 A 3