(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210072239.4 (22)申请日 2022.01.21 (71)申请人 南京航空航天大 学 地址 210016 江苏省南京市秦淮区御道街 29号 (72)发明人 顾晶晶　陈俊义　 (74)专利代理 机构 南京理工大 学专利中心 32203 专利代理师 朱炳斐 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/30(2022.01)G06V 10/14(2022.01) G06K 9/62(2022.01) (54)发明名称 一种基于VIS-IR图像的多源融合人体目标 检测方法 (57)摘要 本发明公开了一种基于VIS ‑IR图像的多源 融合人体目标检测方法， 包括以下步骤： 采集同 一场景的红外图像即IR图像， 以及可见光图像即 VIS图像； 对IR图像进行人体目标检测， 并记录框 住目标的检测框的四点坐标； 对VIS图像进行人 体目标检测， 并记录框住目标的检测框的四点坐 标； 对IR图像与VIS图像进行图像配准， 将IR图像 检测到的人体目标坐标映射到VIS图像上； 过滤 重复检测框， 将剩余的检测框 添至VIS图像中， 完 成整个目标检测过程。 本发明基于VIS ‑IR图像， 通过先单独检测后融合的方法， 提高了对复杂环 境下的人体目标的检测能力。 权利要求书2页 说明书8页 附图2页 CN 114511879 A 2022.05.17 CN 114511879 A 1.一种基于VIS ‑IR图像的多源融合人体目标检测方法， 其特征在于， 所述方法包括以 下步骤： 步骤1， 采集同一场景的红外图像即IR图像， 以及可 见光图像即VIS图像； 步骤2， 对IR图像进行 人体目标检测， 并记录 框住目标的检测框的四点 坐标； 步骤3， 对VIS图像进行 人体目标检测， 并记录 框住目标的检测框的四点 坐标； 步骤4， 对IR图像与VIS图像进行图像配准， 将IR图像检测到的人体目标坐标映射到VIS 图像上； 步骤5， 过 滤重复检测框， 将剩余的检测框添至VIS图像中， 完成整个目标检测过程。 2.根据权利 要求1所述的基于VIS ‑IR图像的多源融合人体目标检测方法， 其特征在于， 步骤2所述对IR图像进行 人体目标检测， 并记录 框住目标的检测框的四点 坐标， 具体包括： 步骤2‑1， 使用基于最值归一化的方法对IR图像进行处理， 以将IR图像映射到电子显示 设备； 步骤2‑2， 对IR图像进行 滤波处理； 步骤2‑3， 通过边 缘检测算子分割人体目标； 步骤2‑4， 基于傅里叶描述子提取 人体目标； 步骤2‑5， 基于Adaboost算法对人体目标进行分类检测， 并记录框住图像目标的检测框 的四点坐标。 3.根据权利 要求2所述的基于VIS ‑IR图像的多源融合人体目标检测方法， 其特征在于， 步骤2‑1具体包括： 记红外图像的像素值 为f(x,y)， 其中x、 y分别为像素值横向和纵向的位置； 步骤2‑1‑1， 统计IR图像的像素灰度值直方图P(k)， k＝0,1,2,3,...,L ‑1， 其中k代表灰 度值， L为灰度阶数； 步骤2‑1‑2， 从直方图的最小像素灰度值和最大像素灰度值分别向中间进行像素灰度 值个数累计统计， 直至满足从最小像素灰度值累积的和大于预设阈值S1， 从最大像素灰度 值累计的和大于预设阈值S2， 停止对像素灰度值累计， 并记下最小累计像素灰度值为fmin (x,y)， 最大累计 像素值为fmax(x,y)； 步骤2‑1‑3， 对IR图像 像素值进行归一 化： 4.根据权利 要求3所述的基于VIS ‑IR图像的多源融合人体目标检测方法， 其特征在于， 步骤2‑2具体进行中值滤波。 5.根据权利 要求4所述的基于VIS ‑IR图像的多源融合人体目标检测方法， 其特征在于， 步骤2‑3的边缘检测算子采用Sobel 算子。 6.根据权利 要求5所述的基于VIS ‑IR图像的多源融合人体目标检测方法， 其特征在于， 步骤3具体采用单阶段检测算法即Yo lov4算法对可 见光图像进行 人体目标检测。 7.根据权利 要求6所述的基于VIS ‑IR图像的多源融合人体目标检测方法， 其特征在于，权　利　要　求　书 1/2 页 2 CN 114511879 A 2步骤4的具体过程包括： 步骤4‑1， 轮廓提取 采用Sobel算子对IR图像进行边缘检测， 再采用Canny算子对处理后的VIS图像进行边 缘检测； 步骤4‑2， 角点检测 对步骤4‑1边缘控制点进行角点控制， 设置提取边缘控制点灰度值阈值， 若步骤4 ‑1获 得的边缘控制点的灰度值大于该阈值， 则认为该控制点 为角点； 步骤4‑3， 对角点进行聚类 对步骤4‑2所获得的角点进行聚类， 首先从角点中任意选择三个角点分别作为第1类初 始聚点、 第2类初始聚点、 第3类初始聚点， 然后分别求其他角点与该三个初始聚点之间的欧 氏 距离 ， 并将距离最小的 角点设为同类聚点 ； 接着求所有聚点的坐标平均值 其中(xi， yi)为第i个聚点的坐标， n为聚点的个数； 由此分别求得红外 图像的第1、 2、 3类聚点坐标(x11,y11)， (x12,y12)， (x13,y13)， 可见光图像的第1、 2、 3类聚点坐 标(x21,y21)， (x22,y22)， (x23,y23)； 步骤4‑4， 图像自动配准 将(x11,y11)、 (x12,y12)、 (x13,y13)作为配准数据集， (x21,y21)、 (x22,y22)、 (x23,y23)作为待 配准数据集， 然后利用MATLAB软件中的cp2 tform函数对两组数据集进行配准。 8.根据权利 要求7所述的基于VIS ‑IR图像的多源融合人体目标检测方法， 其特征在于， 步骤5具体通过IOU过 滤融合算法实现， 包括： 步骤5‑1， 计算步骤2和步骤3两个检测框的交并比IOU， 具体为： 计算IR图像的检测框与 VIS图像的检测框的交集部分的面积与二 者面积的并集部分的面积之比IOU； 步骤5‑2， 判断IOU是否大于等于预设阈值， 若大于， 则认为两个检测框为同一目标的检 测框， 只保留其中一个检测框 绘制于VIS图像中， 并将其对应的坐标信息及置信度信息融合 入VIS图像的检测信息； 否则将两个检测 框均绘制于VIS图像中， 并将其对应的坐标信息及 置信度信息融合入VIS图像的检测信息 。 9.基于权利要求1至8任意一项所述方法的基于VIS ‑IR图像的多源融合人体目标检测 系统， 其特 征在于， 所述系统包括： 采集模块， 用于采集同一场景的红外图像即IR图像， 以及可 见光图像即VIS图像； 第一目标检测模块， 用于对IR图像进行人体目标检测， 并记录框住目标的检测框的四 点坐标； 第二目标检测模块， 用于对VIS图像进行人体目标检测， 并记录框住目标的检测框的四 点坐标； 配准模块， 用于对IR图像与VIS图像进行图像配准， 将IR图像检测到的人体目标坐标映 射到VIS图像上； 过滤模块， 过 滤重复检测框， 将剩余的检测框添至VIS图像中， 完成整个目标检测过程。权　利　要　求　书 2/2 页 3 CN 114511879 A 3