(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210502178.0 (22)申请日 2022.05.09 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市江干经济开发 区2号大街9 28号 (72)发明人 田秋红　张元奎　孙文轩　章立早　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/50(2022.01) (54)发明名称 一种基于图像信息熵和HOG_SSIM的视频关 键帧提取方法 (57)摘要 本发明公开了一种基于图像信息熵和HOG_ SSIM的视频关键帧提取方法。 该方法提取视频关 键帧分为两个步骤： 第一个步骤 是通过基于图像 信息熵初步提取关键帧， 主要通过计算视频中每 一帧的图像信息熵， 形成熵值曲线图， 找到熵值 曲线图中的局部极值点， 将局部极值点对应的视 频帧加入到候选关键帧集合中； 第二个步骤是去 除候选关键帧集合中的冗余帧， 通过结构相似度 算法和HOG特征相似度算法对相邻候选关键帧进 行筛选， 从而去除候选关键帧集合中的冗余帧， 完成视频关键帧的提取。 权利要求书2页 说明书5页 附图5页 CN 114898263 A 2022.08.12 CN 114898263 A 1.一种基于图像信息熵和HOG_SSIM的视频关键帧提取方法， 其特征在于， 包括以下步 骤： 步骤1)读取视频数据， 通过预处理得到视频帧序列， 计算视频帧序列中每一帧视频帧 的图像信息熵； 步骤2)将视频帧序列中每一帧视频帧依次进行编号， 得到每一帧视频帧的帧号； 将视 频帧序列中视频帧的帧号与图像信息熵的熵值进行对应， 构建二维熵值曲线图； 步骤3)将熵值曲线图中局部极值 点对应的视频帧纳入候选关键帧集 合中； 步骤4)使用结构相似度算法和HOG特征相似度算法计算候选关键帧集合中的相邻候选 关键帧之间的结构相似度和H OG特征相似度， 分别设定判断关键帧结构相似度和HOG特征相 似度的阈值； 对候选关键帧集合进行筛选， 保留小于阈值的视频帧， 删除大于阈值的视频 帧， 最终保留的视频帧即为本发明提取的视频关键帧。 2.根据权利要求1所述的基于图像信息熵和HOG_SSIM的视频关键帧提取方法， 其特征 在于： 所述 步骤1)具体为： 1.1)通过Opencv提取视频 数据的每一帧， 得到 视频帧序列； 1.2)依次计算所有视频帧的图像信息熵， 并保存在熵值列表中。 3.根据权利要求1所述的基于图像信息熵和HOG_SSIM的视频关键帧提取方法， 其特征 在于： 所述步骤2)具体为： 通过matplotlib库函数绘制熵值曲线图， 横坐标为视频 帧帧号， 纵坐标为视频帧对应的熵值。 4.根据权利要求1所述的基于图像信息熵和HOG_SSIM的视频关键帧提取方法， 其特征 在于： 所述 步骤3)具体为 3.1)根据熵值曲线图， 找寻 图中所有 的局部极值点； 局部极值点包括局部极大值点和 局部极小值点： 局部极大值点定义为当前视频帧的熵值同时大于前后两帧视频帧的熵值， 局部极小值 点定义为当前视频帧的熵值同时小于前后两帧视频帧的熵值； 3.2)将步骤3.1)得到的局部极值点和视频帧帧号进行对应， 将局部极值点对应的视频 帧纳入候选关键帧集 合中。 5.根据权利要求1所述的基于图像信息熵和HOG_SSIM的视频关键帧提取方法， 其特征 在于： 所述 步骤4)具体为 4.1)遍历候选关键帧集 合中的视频帧， 对于每相邻的两个候选关键帧： 1)使用结构相似度算法计算相邻两个候选关键帧之间的结构相似度； 2)使用HOG特征相似度算法分别计算相邻两个候选关键帧的HOG特征， 然后使用余弦相 似度算法计算相邻两个候选关键帧的HO G特征相似度； 4.2)计算步骤4.1)得到的所有结构相似度值的最小值和中位数值， 并通过下式设定判 断视频帧结构相似度的阈值TS： 其中， TS表示相邻视频帧的结构相似度判断阈值， Min(SimSSimi)表示结构相似度的最 小值， Med(SimSSimi)表示结构相似度的中位数值， SimSSimi表示通过结构相似度 算法计算 得到的结构相似度值； 计算步骤4.1)得到的所有HOG特征相似度值的最小值和中位数值， 并通过下式设定判权　利　要　求　书 1/2 页 2 CN 114898263 A 2断视频帧HO G特征相似度的阈值TG： 其中， TG表示相邻视 频帧的HOG特征相似度判断阈值， Min(Si mHogi)表示HOG特征相似度 的最小值， Med(SimHogi)表示HOG特征相似度的中位数值， SimHo gi表示通过使用HOG特征相 似度算法计算得到的HO G特征相似度值； 4.3)通过步骤4.2)设定的阈值去除候选关键帧集合中的冗余帧， 从而完成关键帧的提 取， 具体操作如下： 如果相邻两个候选关键帧的结构相似度值小于阈值TS或HOG特征相似度值小于阈值 TG， 则认定 两视频帧不相似， 不执 行冗余帧去除操作； 反之， 如果两个候选关键帧的结构相似度值大于阈值TS或HOG特征相似度值大于阈值 TG， 则认定 两视频帧相似， 去除相邻两个候选关键帧中前一个视频帧。权　利　要　求　书 2/2 页 3 CN 114898263 A 3