(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210083455.9 (22)申请日 2022.01.25 (65)同一申请的已公布的文献号 申请公布号 CN 114120289 A (43)申请公布日 2022.03.01 (73)专利权人 中科视语 （北京） 科技有限公司 地址 102300 北京市门头沟区石龙 经济开 发区永安路20号3号楼 A-6193室 (72)发明人 王金桥　陈盈盈　朱炳科　李晓东　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 代理人 王庆龙 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/44(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (56)对比文件 CN 109086871 A,2018.12.25 CN 107169527 A,2017.09.15 WO 20210 07812 A1,2021.01.21 审查员 王楠 (54)发明名称 一种行车区域与车道线识别方法及系统 (57)摘要 本发明提供一种行车区域与车道线识别方 法及系统， 该方法包括： 获取待识别的结构化道 路图像； 将待识别的结构化道路图像输入到道路 识别模型中， 得到由道路识别模 型中的基础网络 输出的全局语义特征； 通过道路识别模型的第一 分支网络， 对全局语义特征中的行车区域进行提 取， 得到行车区域语义特征； 通过道路识别模型 的第二分支网络， 对全局语义特征中的车道线进 行提取， 得到车道线语义特征； 通过道路识别模 型中的预测层对融合特征进行分类预测， 得到待 识别的结构化道路图像中的行车区域与车道线， 融合特征是由全局语义特征、 行车区域语义特征 和车道线语义特征进行融合得到的。 本发明有效 提高了行 车区域与车道线识别精度。 权利要求书3页 说明书10页 附图3页 CN 114120289 B 2022.05.03 CN 114120289 B 1.一种行 车区域与车道线识别方法， 其特 征在于， 包括： 获取待识别的结构化道路图像； 将所述待识别的结构化道路图像输入到道路识别模型中， 得到由所述道路识别模型中 的基础网络 输出的全局语义特 征； 通过所述道路识别模型的第一分支网络， 对所述全局语义特征中的行车区域进行提 取， 得到行车区域语义特征； 通过所述道路识别模 型的第二分支网络， 对所述全局语义特征 中的车道线 进行提取， 得到车道线语义特 征； 通过所述道路识别模型中的预测层对融合特征进行分类预测， 得到所述待识别的结构 化道路图像中的行车区域与车道线， 所述融合特征是 由所述全局语义特征、 所述行车区域 语义特征和所述车道线语义特 征进行融合得到的； 其中， 所述基础网络、 所述第 一分支网络和所述第 二分支网络， 是由卷积神经网络构建 得到的； 所述道路识别模型通过以下步骤训练得到： 通过标记有行车区域标签和车道线标签的结构化道路样本图像， 构建得到训练样本 集； 将所述训练样本集中的样本图像输入到第 一卷积神经网络 中进行训练， 得到基础网络 和由所述基础网络 输出的全局语义样本特 征； 将所述全局语义样本特征输入到第 二卷积神经网络 中， 以进行行车区域像素特征的提 取训练， 得到第一分支网络和由所述第一分支网络 输出的行 车区域语义样本特 征； 将所述全局语义样本特征输入到第 三卷积神经网络 中进行训练， 以进行车道线像素特 征的提取训练， 得到第二分支网络和由所述第二分支网络 输出的车道线语义样本特 征； 基于所述行车区域语义样本特征和所述车道线语义样本特征， 对所述第 一分支网络和 所述第二分支网络进行交互训练， 得到训练好的第一分支网络和训练好的第二分支网络， 并输出局部语义增强样本特 征； 通过所述全局语义样本特征和所述局部语义增强样本特征， 对预训练 的预测层进行微 调， 得到训练好的预测层； 根据所述基础网络、 所述训练好的第一分支网络、 所述训练好的第二分支网络和所述 训练好的预测层， 构建得到道路识别模型； 所述基于所述行车区域语义样本特征和所述车道线语义样本特征， 对所述第 一分支网 络和所述第二分支网络进 行交互训练， 得到训练好的第一分支网络和训练好的第二分支网 络， 并输出局部语义增强样本特 征， 包括： 基于所述车道线语义样本特征， 对所述第 一分支网络在样本图像中相同识别区域对应 的行车区域语义样本特 征进行语义特 征对齐处 理， 得到第一局部语义增强样本特 征； 基于所述行车区域语义样本特征， 对所述第 二分支网络在样本图像中相同识别区域对 应的车道线语义样本特 征进行语义特 征对齐处 理， 得到第二局部语义增强样本特 征； 所述通过所述全局语义样本特征和所述局部语义增强样本特征， 对预训练的预测层进 行微调， 得到训练好的预测层， 包括： 通过所述全局语义样本特征、 所述第 一局部语义增强样本特征和所述第 二局部语义增 强样本特 征， 对预训练的预测层进行微调， 得到训练好的预测层。权　利　要　求　书 1/3 页 2 CN 114120289 B 22.根据权利要求1所述的行车区域与 车道线识别方法， 其特征在于， 在所述通过所述道 路识别模型中的预测层 对融合特征进 行分类预测， 得到所述待识别的结构化道路图像中的 行车区域与车道线之后， 所述方法还 包括： 对所述道路识别模型输出的行车区域与车道线的预测结果进行边缘提取处理和均值 校正处理， 得到处 理后的预测结果。 3.根据权利要求2所述的行车区域与 车道线识别方法， 其特征在于， 所述边缘提取处理 的算法为Can ny边缘检测算法。 4.根据权利要求1所述的行车区域与 车道线识别方法， 其特征在于， 所述第 一卷积神经 网络为HRNet V2模型。 5.根据权利要求1所述的行车区域与 车道线识别方法， 其特征在于， 在所述通过所述全 局语义样本特征、 所述第一局部语义增强样本特征和所述第二局部语义增强样本特征， 对 预训练的预测层进行微调， 得到训练好的预测层之前， 所述方法还 包括： 将所述全局语义样本特征、 所述第 一局部语义增强样本特征和所述第 二局部语义增强 样本特征进行拼接， 得到拼接后的样本特 征； 将所述拼接后的样本特征， 输入到一层1 ×1卷积中， 得到样本融合特征， 以通过所述样 本融合特 征， 对预训练的预测层进行微调， 得到训练好的预测层。 6.一种行 车区域与车道线识别系统， 其特 征在于， 包括： 道路图像采集模块， 用于获取待识别的结构化道路图像； 第一处理模块， 用于将所述待识别的结构化道路图像输入到道路识别模型中， 得到由 所述道路识别模型中的基础网络 输出的全局语义特 征； 第二处理模块， 用于通过所述道路识别模型的第一分支网络， 对所述全局语义特征中 的行车区域进 行提取， 得到行车区域语义特征； 通过所述道路识别模 型的第二分支网络， 对 所述全局语义特 征中的车道线 进行提取， 得到车道线语义特 征； 行车区域与 车道线识别模块， 用于通过所述道路识别模型中的预测层对融合特征进行 分类预测， 得到所述待识别的结构化道路图像中的行车区域与车道线， 所述融合特征是 由 所述全局语义特 征、 所述行 车区域语义特 征和所述车道线语义特 征进行融合得到的； 其中， 所述基础网络、 所述第 一分支网络和所述第 二分支网络， 是由卷积神经网络构建 得到的； 所述道路识别模型通过以下步骤训练得到： 通过标记有行车区域标签和车道线标签的结构化道路样本图像， 构建得到训练样本 集； 将所述训练样本集中的样本图像输入到第 一卷积神经网络 中进行训练， 得到基础网络 和由所述基础网络 输出的全局语义样本特 征； 将所述全局语义样本特征输入到第 二卷积神经网络 中， 以进行行车区域像素特征的提 取训练， 得到第一分支网络和由所述第一分支网络 输出的行 车区域语义样本特 征； 将所述全局语义样本特征输入到第 三卷积神经网络 中进行训练， 以进行车道线像素特 征的提取训练， 得到第二分支网络和由所述第二分支网络 输出的车道线语义样本特 征； 基于所述行车区域语义样本特征和所述车道线语义样本特征， 对所述第 一分支网络和 所述第二分支网络进行交互训练， 得到训练好的第一分支网络和训练好的第二分支网络，权　利　要　求　书 2/3 页 3 CN 114120289 B 3