金融行业标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202110662206.0 (22)申请日 2021.06.15 (71)申请人 中国科学院微电子 研究所 地址 100029 北京市朝阳区北土城西路3号 (72)发明人 尚大山 李熠 张握瑜  (74)专利代理 机构 北京知迪知识产权代理有限 公司 11628 专利代理师 王胜利 (51)Int.Cl. G06F 30/27(2020.01) G06F 30/30(2020.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 115/10(2020.01) (54)发明名称 多并行度优化方法、 装置、 识别方法和电子 设备 (57)摘要 本发明公开多并行度优化方法、 装置、 识别 方法和电子设备, 涉及机器学习及人工智能领 域。 多并行度优化方法, 运行神经网络模型的神 经网络处理设备, 所述神经网络处理设备具有存 算一体芯片, 所述方法包括: 获取多并行度下所 述存算一体芯片的等效电导参数; 基于所述等效 电导参数确定权重矩阵; 基于所述权重矩阵对所 述神经网络模型进行训练, 确定目标权重; 基于 所述目标权重调整存算一体芯片的参数。 方法应 用于多并行度优化装置。 本发明提供的方法可以 使得该存算一体 芯片的器件准确度得以提高, 避 免了器件的非理想特性导致的误差累积, 可以提 高器件的识别准确率。 权利要求书2页 说明书11页 附图4页 CN 115481562 A 2022.12.16 CN 115481562 A 1.多并行度优化方法, 其特征在于, 应用于运行神经网络模型的神经网络处理设备, 所 述神经网络处 理设备具有存算 一体芯片, 所述方法包括: 获取多并行度下 所述存算 一体芯片的等效电导 参数; 基于所述 等效电导 参数确定 权重矩阵; 基于所述权 重矩阵对所述神经网络模型进行训练, 确定目标权 重; 基于所述目标权 重调整所述存算 一体芯片的参数。 2.根据权利要求1所述的方法, 其特征在于, 所述基于所述权重矩阵对所述神经网络模 型进行训练, 确定目标权 重, 包括: 基于所述权 重矩阵确定 辅助权重矩阵; 以所述辅助权重矩阵作为所述神经网络模型的权重, 对所述神经网络模型进行训练确 定所述目标权 重。 3.根据权利要求2所述的方法, 其特征在于, 所述基于所述权重矩阵确定辅助权重矩 阵, 包括: 基于所述权重矩阵确定所述辅助并行矩阵; 对所述辅助并行矩阵采用取整量化操 作确定辅助权重矩阵; 其中, 所述辅助并行矩阵包括两个平行子矩阵, 两个所述平行子矩阵基于平行度构建。 4.根据权利要求1所述的方法, 其特征在于, 当所述神经网络模型含有归一化层, 所述 存算一体芯片具有支持实现归一化运行的归一化子电路; 所述基于所述目标权重调整 所述 存算一体芯片的参数, 包括: 基于所述目标权 重调整所述归一 化子电路的参数。 5.根据权利要求1至4任一所述的方法, 其特 征在于, 所述 参数包括电阻值; 所述等效电导参数包括经元电路的差分汇聚电流, 所述基于所述等效电导参数确定权 重矩阵包括: 根据所述等效电导参数确定存算一体芯片的并行电导; 基于所述并行电导进行差分确 定所述权 重矩阵。 6.一种多并行度优化装置, 其特征在于, 应用于运行神经网络模型的神经网络处理设 备, 所述神经网络处 理设备具有存算 一体芯片, 所述装置包括: 获取模块, 用于获取多并行度下 所述存算 一体芯片的等效电导 参数; 第一确定模块, 用于基于所述 等效电导 参数确定 权重矩阵; 第二确定模块, 用于基于所述权 重矩阵对所述神经网络模型进行训练, 确定目标权 重; 调整模块, 用于基于所述目标权 重调整所述存算 一体芯片的参数。 7.根据权利要求6所述的装置, 其特 征在于, 所述第二确定模块包括: 第一确定 子模块, 用于基于所述权 重矩阵确定 辅助权重矩阵; 第二确定子模块, 用于以所述辅助权重矩阵作为所述神经网络模型的权重, 对所述神 经网络模型进行训练确定所述目标权 重。 8.一种识别方法, 其特征在于, 应用于运行神经网络模型的神经网络处理设备, 所述神 经网络处理设备具有存算一体芯片; 所述存算一体芯片的参数由权1~5任一项 所述方法确 定; 所述方法包括: 获取多并行度下 所述存算 一体芯片的等效电导 参数; 基于所述 等效电导 参数确定所述神经网络模型的定点数权 重;权 利 要 求 书 1/2 页 2 CN 115481562 A 2向所述神经网络模型输入待识别 信息, 获得识别结构。 9.根据权利要求8所述的方法, 其特征在于, 所述神经网络模型包括输入层、 输出层以 及多个隐藏层; 所述输入层用于对所述待识别 信息进行处 理, 得到第一输出值; 每个所述处理单元用于对所述第 一输出值进行处理, 在所述隐藏层为最后 一层隐藏层 的情况下, 向所述输出层馈入输出信息, 得到第二输出值; 所述输出层用于对所述第二输出值进行概 率预测处 理, 确定预测结果。 10.一种电子设备, 其特征在于, 包括: 一个或多个处理器; 和其上存储有指令的一个或 多个机器可读介质, 当由所述一个或多个处理器执行时, 使得所述装置执行权利要求6 ‑7任 一所述的多并行度优化装置 。权 利 要 求 书 2/2 页 3 CN 115481562 A 3

.PDF文档 专利 多并行度优化方法、装置、识别方法和电子设备

文档预览
中文文档 18 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共18页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 多并行度优化方法、装置、识别方法和电子设备 第 1 页 专利 多并行度优化方法、装置、识别方法和电子设备 第 2 页 专利 多并行度优化方法、装置、识别方法和电子设备 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 17:57:14上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。