(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221087895 0.9 (22)申请日 2022.07.25 (71)申请人 郑州大学 地址 450006 河南省郑州市高新 技术开发 区科学大道100号 申请人 成都极海科技有限公司 (72)发明人 郜超军　郑杨青　王姝晨　曾豪　 徐学迅　 (74)专利代理 机构 北京同立钧成知识产权代理 有限公司 1 1205 专利代理师 独旭　臧建明 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/20(2022.01) G06N 3/08(2006.01)G06N 3/04(2006.01) G06F 40/30(2020.01) (54)发明名称 基于MPU的车载辅助沟通系统 (57)摘要 本申请提供一种基于MPU的车载辅助沟通系 统。 该系统包括： 获取单元， 识别单元， MP U及输出 单元； MPU分别与获取单元、 识别单元及输出单元 连接； 获取单元， 用于根据获取的车辆监测数据 确定是否满足预设翻译条件； 识别单元， 用于若 满足预设翻译条件， 则采集包含身体动作的视频 数据， 根据包含身体动作的视频数据确定对应的 动作图像序列， 将动作图像序列发送 至MPU； MPU， 用于将动作图像序列输入至训练的语义识别模 型中， 输出对应的语义识别结果， 将语义识别结 果发送至输 出单元； 输出单元， 用于播放和/或显 示语义识别结果。 本申请的车载辅助沟通系统能 够辅助用户进行翻译， 不仅能够提高翻译效率， 而且能够实现在驾车过程中的无障碍沟通。 权利要求书3页 说明书9页 附图2页 CN 115240256 A 2022.10.25 CN 115240256 A 1.一种基于MPU的车载辅助沟通系统， 其特征在于， 所述系统包括： 获取单元， 识别单 元， 微处理器MPU及输出单元； 所述MPU分别与所述 获取单元、 所述识别单元及所述输出单元 连接； 所述获取单元， 用于获取车辆监测数据， 并根据所述车辆监测数据确定是否满足预设 翻译条件； 所述识别单元， 用于若满足预设翻译条件， 则采集包含身体动作的视频数据， 并根据 所 述包含身体动作的视频数据确定对应的动作图像序列， 将所述对应的动作图像序列发送至 所述MPU， 所述身体动作包括手部动作和/或唇语动作； 所述MPU， 用于接收所述对应的动作图像序列， 将所述对应的动作图像序列输入至训练 的语义识别模型中， 输出对应的语义识别结果， 将所述语义识别结果发送至所述输出 单元； 所述输出 单元， 用于接收所述语义识别结果， 播 放和/或显示所述语义识别结果。 2.根据权利要求1所述的系统， 其特征在于， 所述系统还包括： 生理数据采集单元， 所述 生理数据采集单 元与所述MPU连接； 所述生理数据采集单元， 用于获取用户当前生理特征数据， 将所述当前生理特征数据 发送至所述MPU； 所述MPU， 还用于接收所述当前生理特征数据， 根据所述当前生理特征数据确定用户当 前情绪状态， 并根据所述用户当前情绪状态确定是否需要对所述语义识别结果进行调整； 所述MPU， 还用于若是， 则对所述语义识别结果进行情绪维度的调整， 将调整后的语义 识别结果发送至所述输出 单元； 所述输出单元， 用于接收所述调整后的语义识别结果， 播放所述调整后的语义识别结 果。 3.根据权利要求2所述的系统， 其特征在于， 所述MPU， 在根据所述用户当前情绪状态确 定是否需要对所述语义识别结果进行调整时， 具体用于： 获取预设情绪状态， 所述预设情绪状态包括： 伤心、 生气、 厌恶、 惊讶、 紧张及愉快中的 至少一种； 若所述用户当前情绪状态为预设情绪状态， 则确定所述语义识别结果是否包含预设情 绪关键词； 若所述语义识别结果包含预设情绪关键词， 则将所述语义识别结果中的预设情绪关键 词进行删除、 增加和/或替换， 和/或根据用户当前情绪状态在所述语义识别结果中添加对 应的表情符号， 和/或对所述语义识别结果的语序进行调整。 4.根据权利要求1所述的系统， 其特征在于， 所述车辆监测数据包括： 车辆行驶速度及 车窗位置； 所述获取 单元， 在根据所述车辆监测数据确定是否满足预设翻译条件时， 具体用于： 若所述车辆行驶速度小于等于预设正常行驶车速和/或车窗位置位于预设位置， 则确 定满足预设翻译 条件， 所述预设位置为车辆内驾驶用户与车辆外用户之间能实现沟通的位 置； 若所述车辆行驶速度大于预设正常行驶车速和/或车窗位置未位于预设位置， 则确定 不满足预设翻译条件。 5.根据权利要求1所述的系统， 其特征在于， 所述识别单元， 在根据所述包含身体动作权　利　要　求　书 1/3 页 2 CN 115240256 A 2的视频数据确定对应的动作图像序列时， 具体用于： 基于时间戳信 息对所述包含身体动作的视频数据进行分割， 获得携带时间戳信 息的动 作图像序列； 对携带时间戳信息的动作图像序列按照时间顺序进行排序， 获取排序的动作图像序 列， 将所述 排序的动作图像序列确定为对应的动作图像序列。 6.根据权利要求1所述的系统， 其特征在于， 所述语义识别模型为长短时记忆神经网络 模型； 所述MPU， 在将所述对应的动作图像序列输入至训练的语义识别 模型中， 输出对应的语 义识别结果时， 具体用于： 将所述对应的动作图像序列依次输入至训练的长短时记忆神经网络模型中进行特征 提取， 得到所述动作图像的全局特 征； 根据所述动作图像的全局特征对所述动作图像中的身体动作进行文本预测， 获得对应 的文本信息， 输出包 含所述文本信息的语义识别结果。 7.根据权利要求6所述的系统， 其特征在于， 所述MPU， 还用于构建初始长短时记忆神经 网络模型； 所述MPU， 还用于将预设数据库中的样本图像输入初始长短时记忆神经网络模型进行 训练， 以获取训练的长短时记 忆神经网络模型。 8.根据权利要求1至7任一项所述的系统， 其特征在于， 所述识别单元， 还用于采集非沟 通障碍用户的语音信息， 将所述语音信息发送至所述MPU； 所述MPU， 还用于接收所述语音信息， 将所述语音信息进行转换， 获取语音信息对应的 文本信息和/或语音信息对应的动作图像， 将所述文本信息和/或语音信息对应的动作图像 发送至所述输出 单元； 所述输出 单元， 还用于 显示所述对应的文本信息和/或所述对应的动作图像。 9.根据权利要求8所述的系统， 其特征在于， 所述MPU， 在将所述语音信息进行转换， 获 取对应的动作图像时， 具体用于： 对所述对应的文本信息进行分词处 理， 获得待处 理的词语； 获取预设词语与预设动作图像对应的映射关系， 并根据 所述待处理的词语及所述映射 关系确定与所述待处 理的词语匹配的预设词语； 获取与所述待处理的词语匹配的预设词语对应的预设动作图像， 将所述对应的预设动 作图像确定为对应的动作图像， 获取对应的动作图像。 10.根据权利要求1所述的系统， 其特征在于， 所述系统还包括： 输入单元， 所述输入单 元与所述MPU连接， 所述输入单元， 用于响应用户触发的翻译请求， 发送翻译请求至所述 MPU； 所述MPU， 还用于 接收所述翻译请求， 发送翻译指令 至所述识别单 元； 所述识别单元， 还用于接收所述翻译指令， 采集包含身体动作的视频数据， 并根据 所述 包含身体动作的视频数据确定对应的动作图像序列， 将所述对应的动作图像序列发送至所 述MPU； 所述MPU， 还用于接收所述对应的动作图像序列， 将所述对应的动作图像序列输入至训 练的语义识别模型中， 输出对应的语义识别结果， 将所述语义识别结果发送至所述输出单权　利　要　求　书 2/3 页 3 CN 115240256 A 3