(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111527231.4 (22)申请日 2021.12.14 (71)申请人 深圳先进技 术研究院 地址 518055 广东省深圳市南 山区西丽大 学城学苑大道1068号 (72)发明人 周纪民　刘延东　张中劲　王鲁佳　 王洋　须成忠　 (74)专利代理 机构 深圳市科进知识产权代理事 务所(普通 合伙) 44316 代理人 刘建伟 (51)Int.Cl. G06F 30/27(2020.01) G06F 119/02(2020.01) (54)发明名称 无人驾驶场景下深度强化学习模型的可解 释性方法及系统 (57)摘要 本发明涉及模 型学习领域， 具体涉及一种无 人驾驶场景下深度强化学习模型的可解释性方 法及系统。 该方法及装置选择合适的仿真环境以 及适合的深度强化学习算法， 通过训练得到收敛 的强化学习模 型， 对强化学习模 型输入无人驾驶 场景下拍摄的图片， 对图片进行特征的划分及进 行特征影 响力的量化分析， 计算各个特征对模型 决策的影响程度， 并得到相应的差值矩阵， 得到 改进型网络模 型。 以至少解决现有技术不能精准 分析图片各个特征对模型决策的影响的技术问 题。 权利要求书2页 说明书7页 附图2页 CN 114330109 A 2022.04.12 CN 114330109 A 1.一种无人驾驶场景下深度强化学习模型的可解释性方法， 其特征在于， 包括以下步 骤： 选择合适的仿真环境以及适合的深度强化学习算法， 通过训练得到收敛的强化学习 模 型； 对强化学习模型输入无人驾驶场景下拍摄的图片， 对图片进行特征的划分及进行特征 影响力的量化分析， 计算各个特征对模 型决策的影响程度， 并得到相应的差值矩阵， 得到改 进型网络模型。 2.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法， 其特征 在于， 对强化学习模型输入无人驾驶场景下拍摄的图片， 对图片进行特征 的划分及进行特 征影响力的量化分析， 计算各个特征对模型决策的影响程度， 并得到相应的差值矩阵， 得到 改进型网络模型包括： 首先通过模型与环境交互得到状态图像， 通过超像素分割将图片根据 特征分为固定的 块数， 通过对不 规则区域的高斯模糊的方法依次分别模糊得到图像集； 之后将图像集与原图分别 输入网络， 得到原图与模糊图像的决策值， 两者做差， 得到差 值矩阵； 将差值矩阵通过上采样， 使得矩阵大小等于输入图像的大小， 并将差值矩阵的值乘以 预设的倍数叠加到原图中。 3.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法， 其特征 在于， 选择深度强化学习中的A3 C作为无人驾驶中的智能体自主决策的算法。 4.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法， 其特征 在于， 无人驾驶环境选择carla仿真环境， 选择合 适的场景， 选择图片作为输入。 5.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法， 其特征 在于， 对强化学习模型输入无人驾驶场景下拍摄的图片之前还包括： 对无人驾驶场景下拍 摄的图片进行 预处理。 6.根据权利要求5所述的无人驾驶场景下深度强化学习模型的可解释性方法， 其特征 在于， 对无 人驾驶场景 下拍摄的图片进行 预处理包括： 将输入图片转换成进行解释时所需要的形式： 将无人驾驶环境中合适的图像特征找出 来并进行分割， 利用最小的分割块数来囊括无 人驾驶环境中所需要的特 征。 7.根据权利要求6所述的无人驾驶场景下深度强化学习模型的可解释性方法， 其特征 在于， 图像 分割将具有相似纹理、 颜色、 亮度特征的相 邻像素构成有视觉意义的不规则像素 块， 并用少量像素来代替大量像素； 其中图像模糊为每一个 像素都取周边像素的平均值。 8.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法， 其特征 在于， 使用显著图算法对图片进行 特征的划分及进行 特征影响力的量 化分析。 9.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法， 其特征 在于， 所述方法还 包括： 以用户易理解的形式将解释的内容展现给用户。 10.一种无 人驾驶场景 下深度强化学习模型的可解释性系统， 其特 征在于， 包括： 网络模型模块， 用于选择合适的仿真环境以及适合的深度强化学习算法， 通过训练得 到收敛的强化学习模型；权　利　要　求　书 1/2 页 2 CN 114330109 A 2解释性算法模块， 用于对强化学习模型输入无人驾驶场景下拍摄的图片， 对图片进行 特征的划分及进行特征影响力的量化分析， 计算各个特征对模型决策 的影响程度， 并得到 相应的差值矩阵， 得到改进型网络模型。权　利　要　求　书 2/2 页 3 CN 114330109 A 3