(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210481101.X (22)申请日 2022.05.05 (71)申请人 上海东普信息科技有限公司 地址 201700 上海市青浦区外 青松公路 5045号508室U区4 4号 (72)发明人 曾月　李斯　杨周龙　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 姚维 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 20/59(2022.01) G06V 10/28(2022.01) G06V 10/20(2022.01)G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G08B 21/24(2006.01) G08B 3/10(2006.01) G10L 15/26(2006.01) G10L 25/51(2013.01) G10L 25/63(2013.01) (54)发明名称 危险驾驶行为的识别方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及图像识别技术领域， 公开了一种 危险驾驶行为的识别方法、 装置、 设备及存储介 质， 用于提高对危险驾驶行为的识别准确度， 减 少驾驶行为的监测成本。 危险驾驶行为的识别方 法包括： 当车辆的驾驶员处于预置的检测区域 时， 对车辆进行车辆行驶检测； 若车辆处于行驶 状态， 则获取驾驶员对应的驾驶行为图像， 并对 驾驶行为图像进行图像增强处理， 得到目标驾驶 行为图像； 调用预置的危险驾驶行为识别模型对 目标驾驶行为图像进行识别， 其中， 危险驾驶行 为识别模型基于残差网络通过注意力机制和三 元组损失函数进行模型优化； 若目标驾驶行为图 像中驾驶员存在危险驾驶行为， 则生成危险驾驶 提醒信息， 并将危险驾驶提醒信息发送至提醒终 端。 权利要求书2页 说明书13页 附图5页 CN 114821796 A 2022.07.29 CN 114821796 A 1.一种危险驾驶行为的识别方法， 其特 征在于， 所述 危险驾驶行为的识别方法包括： 当车辆的驾驶员处于预置的检测区域时， 对所述车辆进行 车辆行驶检测； 若所述车辆处于行驶状态， 则获取所述驾驶员对应的驾驶行为图像， 并对所述驾驶行 为图像进行图像增强处 理， 得到目标驾驶行为图像； 调用预置的危险驾驶行为识别模型对所述目标驾驶行为图像进行识别， 其中， 所述危 险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数进行模型优化； 若所述目标驾驶行为图像中所述驾驶员存在危险驾驶行为， 则生成危险驾驶提醒信 息， 并将所述 危险驾驶 提醒信息发送至提醒终端。 2.根据权利要求1所述的危险驾驶行为的识别方法， 其特征在于， 在所述当车辆的驾驶 员处于预置的检测区域时， 对所述车辆进行 车辆行驶检测之前， 还 包括： 获取多张历史危险驾驶行为图像， 并对所述多张历史危险驾驶行为图像进行样本抽 取， 得到样本图像集； 对所述样本 图像集进行三元组组合， 并基于注意力机制进行特征提取和分类， 得到多 个目标危险驾驶行为图像集； 根据所述多个目标危险驾驶行为图像集基于残差网络对预设模型进行训练， 生成危险 驾驶行为识别模型。 3.根据权利要求2所述的危险驾驶行为的识别方法， 其特征在于， 所述获取多张历史危 险驾驶行为图像， 并对所述多张历史危险驾驶行为图像进行样本抽取， 得到样本图像集， 包 括： 获取多张历史危险驾驶行为图像， 并对每张历史危险驾驶行为图像进行线性增强和裁 剪， 得到多张线性增强和裁 剪后的历史危险驾驶行为图像； 将所述多 张线性增强和裁剪后的历史危险驾驶行为图像进行分类， 得到多个初始危险 驾驶行为图像集， 每 个初始危险驾驶行为图像集对应一种危险驾驶行为； 在所述每 个初始危险驾驶行为图像集中抽取多张样本图像， 得到样本图像集。 4.根据权利要求2所述的危险驾驶行为的识别方法， 其特征在于， 所述对所述样本图像 集进行三元组组合， 并基于注意力机制进行特征提取和分类， 得到多个目标危险驾驶行为 图像集， 包括： 对所述样本图像集进行三元组 组合， 生成多组三元组； 基于注意力 机制对所述多组三元组中的每组三元组进行特征提取， 并基于提取的特征 计算三元组损失函数， 得到多张候选危险驾驶行为图像； 对所述多张候选危险驾驶行为图像进行分类， 得到多个目标危险驾驶行为图像集， 每 个目标危险驾驶行为图像集对应一种危险驾驶行为。 5.根据权利要求1所述的危险驾驶行为的识别方法， 其特征在于， 所述调用预置的危险 驾驶行为识别模型对所述目标驾驶行为图像进行识别， 包括： 通过预置的危险驾驶行为识别模型将所述目标驾驶行为图像与多张预置的危险驾驶 行为图像进行匹配； 若所述目标驾驶行为图像与所述多张预置的危险驾驶行为图像中的目标预置的危险 驾驶行为图像匹配， 则确定所述驾驶员存在危险驾驶行为； 若所述目标驾驶行为图像与 所述多张预置的危险驾驶行为图像未匹配， 则确定所述驾权　利　要　求　书 1/2 页 2 CN 114821796 A 2驶员未存在危险驾驶行为。 6.根据权利要求1所述的危险驾驶行为的识别方法， 其特征在于， 所述当车辆的驾驶员 处于预置的检测区域时， 对所述车辆进行 车辆行驶检测， 包括： 当车辆的驾驶员处于预置的检测区域时， 获取所述车辆的发动机运行数据， 所述发动 机运行数据包括发动机转速； 若所述发动机转速为非零， 则确定所述车辆处于行驶状态； 若所述发动机转速为 零， 则确定所述车辆处于非行驶状态。 7.根据权利要求1 ‑6中任一项所述的危险驾驶行为的识别方法， 其特征在于， 所述若所 述车辆处于行驶状态， 则获取所述驾驶员对应的驾驶行为图像， 并对所述驾驶行为图像进 行图像增强处 理， 得到目标驾驶行为图像， 包括： 若所述车辆处于行驶状态， 则获取 所述驾驶员对应的驾驶行为图像； 对所述驾驶行为图像进行 灰度变换， 生成灰度化驾驶行为图像； 对所述灰度化驾驶行为图像进行直方图增强处理， 得到直方图增强处理后的驾驶行为 图像； 对所述直方图增强处 理后的驾驶行为图像进行 滤波处理， 生成目标驾驶行为图像。 8.一种危险驾驶行为的识别装置， 其特 征在于， 所述 危险驾驶行为的识别装置包括： 行驶检测模块， 用于当车辆的驾驶员处于预置的检测区域时， 对所述车辆进行车辆行 驶检测； 获取增强模块， 用于若所述车辆处于行驶状态， 则获取所述驾驶员对应的驾驶行为图 像， 并对所述驾驶行为图像进行图像增强处 理， 得到目标驾驶行为图像； 行为识别模块， 用于调用预置的危险驾驶行为识别模型对所述目标驾驶行为图像进行 识别， 其中， 所述危险驾驶行为识别模型基于残差网络通过注意力机制和三元组损失函数 进行模型优化； 生成发送模块， 用于若所述目标驾驶行为图像中所述驾驶员存在危险驾驶行为， 则生 成危险驾驶 提醒信息， 并将所述 危险驾驶 提醒信息发送至提醒终端。 9.一种危险驾驶行为的识别设备， 其特征在于， 所述危险驾驶行为的识别设备包括： 存 储器和至少一个处 理器， 所述存 储器中存 储有指令； 所述至少一个处理器调用所述存储器中的所述指令， 以使得所述危险驾驶行为的识别 设备执行如权利要求1 ‑7中任一项所述的危险驾驶行为的识别方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质上存储有指令， 其特征在于， 所述指令被处 理器执行时实现如权利要求1 ‑7中任一项所述 危险驾驶行为的识别方法。权　利　要　求　书 2/2 页 3 CN 114821796 A 3