(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210436683.X (22)申请日 2022.04.25 (71)申请人 深圳佑驾创新科技有限公司 地址 518051 广东省深圳市福田区梅林街 道梅都社区中康路136号深圳新一代 产业园1栋401 (72)发明人 徐焕东　刘国清　杨广　王启程　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 李家平 (51)Int.Cl. G06V 20/58(2022.01) G06K 9/62(2022.01) G01S 13/86(2006.01) G06V 10/74(2022.01)G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/80(2022.01) (54)发明名称 基于4D毫米波雷达和图像识别融合的车位 检测方法 (57)摘要 本发明公开了一种基于4D毫米波雷达和图 像识别融合的车位检测方法， 该方法包括： 获取 时间同步的4D毫米波雷达所采集到的雷达图像 以及车载摄像头所采集到的环 境图像； 将雷达图 像中的4D毫米波雷达反射点投影至环境图像的 图像点上， 以获得雷达投影点； 在图像坐标系下， 将雷达投影点与语义分割所获得的目标像素点 进行关联匹配； 在车辆坐标系下， 对关联匹配的 雷达投影点和目标像素点进行融合， 以获得融合 点； 对在车辆坐标系下的融合点进行聚类， 并将 聚类结果输出为障碍物； 若判断两两障碍物之间 所形成的空间能够容纳本车， 则将空间确定为本 车的停车位。 本发明的停车位障碍物检测率高， 且停车位定位精度高。 权利要求书2页 说明书11页 附图4页 CN 114550142 A 2022.05.27 CN 114550142 A 1.一种基于4D毫米波雷达和图像识别融合的车位检测方法， 其特 征在于， 包括： 获取时间同步的4D毫米波雷达所采集到的雷达 图像以及车载摄像头所采集到的环境 图像； 将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上， 以获得雷 达投影点； 在图像坐标系下， 将所述雷达投影点与语义分割所获得的目标像素点进行关联匹配； 其中， 所述目标像素点为基于语义分割方法从所述环境图像中获取的可行驶区域的像素 点； 在车辆坐标系下， 对关联匹配的所述雷达投影点和所述目标像素点进行融合， 以获得 融合点； 对在车辆坐标系下的所述融合 点进行聚类， 并将聚类结果输出为障碍物； 若判断两两所述障碍物之间所形成的空间能够容纳本车， 则将所述空间确定为本车的 停车位。 2.如权利要求1所述的基于4D毫米波雷达和图像识别 融合的车位检测方法， 其特征在 于， 所述将所述雷达图像中的4D毫米波雷达反射点投影至所述环境图像的图像点上， 以获 得雷达投影点， 包括： 根据所述4D毫米波雷达的安装参数以及所述车载摄像头的安装参数和内外参数， 将车 辆坐标系下的4D毫米波 雷达反射点转换成图像坐标系下的图像点， 则所述图像点为雷达投 影点。 3.如权利要求1所述的基于4D毫米波雷达和图像识别 融合的车位检测方法， 其特征在 于， 所述在图像坐标系 下， 将所述雷达投影点与语义分割 所获得的目标像素点进行关联匹 配， 包括： 在图像坐标系下， 构造所述雷达投影点与所述目标像素点的代价矩阵； 基于匈牙利分配算法， 获得分配结果代价总和最小时所关联匹配的所述雷达投影点和 所述目标像素点。 4.如权利要求1所述的基于4D毫米波雷达和图像识别 融合的车位检测方法， 其特征在 于， 所述对在车辆坐标系下的所述融合 点进行聚类， 并将聚类结果输出为障碍物， 包括： 对在车辆坐标系下的所述融合 点进行DBSCAN聚类； 对聚类结果进行矩形框拟合， 将能够拟合为矩形框且满足预设尺寸的障碍物识别为车 辆障碍物， 将不能拟合矩形框或不满足所述预设尺寸的障碍物 识别为其他障碍物。 5.如权利要求4所述的基于4D毫米波雷达和图像识别 融合的车位检测方法， 其特征在 于， 所述若判断两两所述障碍物之间所形成的空间能够容纳本车， 则将所述空间确定为本 车的停车位， 包括： 判断识别到的两 两所述车辆障碍物之间所 形成的空间是否能够容纳本车； 若是， 则将所述空间确定为本车的停车位。 6.一种基于4D毫米波雷达和图像识别融合的车位检测装置， 其特 征在于， 包括： 获取模块， 用于获取时间 同步的4D毫米波雷达所采集到的雷达图像以及车载摄像头所 采集到的环境图像； 投影模块， 用于将所述雷达图像 中的4D毫米波雷达反射点投影至所述环境图像的图像权　利　要　求　书 1/2 页 2 CN 114550142 A 2点上， 以获得 雷达投影点； 关联匹配模块， 用于在图像坐标系下， 将所述雷达投影点与语义分割所获得的目标像 素点进行关联匹配； 其中， 所述 目标像素点为基于语义分割 方法从所述环境图像中获取 的 可行驶区域的像素点； 融合模块， 用于在车辆坐标系下， 对关联匹配的所述雷达投影点和所述目标像素点进 行融合， 以获得融合 点； 聚类模块， 用于对在车辆坐标系下的所述融合点进行聚类， 并将聚类结果输出为障碍 物； 确定模块， 用于若判断两两所述障碍物之间所形成的空间能够容纳本车， 则将所述空 间确定为本车的停车位。 7.如权利要求6所述的基于4D毫米波雷达和图像识别 融合的车位检测装置， 其特征在 于， 所述投影模块具体用于： 根据所述4D毫米波雷达的安装参数以及所述车载摄像头的安装参数和内外参数， 将车 辆坐标系下的4D毫米波 雷达反射点转换成图像坐标系下的图像点， 则所述图像点为雷达投 影点。 8.如权利要求6所述的基于4D毫米波雷达和图像识别 融合的车位检测装置， 其特征在 于， 所述融合模块具体用于： 在图像坐标系下， 构造所述雷达投影点与所述目标像素点的代价矩阵； 基于匈牙利分配算法， 获得分配结果代价总和最小时所关联匹配的所述雷达投影点和 所述目标像素点。 9.一种车载终端， 其特征在于， 包括处理器、 存储器以及存储在所述存储器中且被配置 为由所述处理器执行 的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求1 至5中任意一项所述的基于4D毫米波雷达和图像识别融合的车位检测方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质包括存储的计算 机程序， 其中， 在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权 利要求1至 5中任意一项所述的基于4D毫米波雷达和图像识别融合的车位检测方法。权　利　要　求　书 2/2 页 3 CN 114550142 A 3