(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221094610 6.5 (22)申请日 2022.08.08 (71)申请人 济南大学 地址 250022 山东省济南市 市中区南 辛庄 西路336号 (72)发明人 赵川　何章钊　荆山　刘伟　 王洪良　陈贞翔　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 张庆骞 (51)Int.Cl. H04L 9/30(2006.01) H04L 9/32(2006.01) H04L 9/40(2022.01) G06N 20/00(2019.01) (54)发明名称 基于异构计算的隐私保护机器学习训练与 推理方法及系统 (57)摘要 本发明公开一种基于异构计算的隐私保护 机器学习训练与推理方法及系统， 以CPU+GPU+ FPGA的异构计算方式进行隐私保护机器学习的 训练和推理， CPU负责总体调度和处理不容易并 行计算的非线性操作， GPU负责加速训练阶段的 线性操作， FPGA负责在推理阶段加速混淆电路的 生成， 在保护数据隐私安全的前提下， 灵活加速 机器学习训练和推理过程， 提高计算效率， 降低 推理延迟。 权利要求书2页 说明书10页 附图1页 CN 115314211 A 2022.11.08 CN 115314211 A 1.基于异构计算的隐私保护机器学习训练方法， 其特征在于， 应用于包括至少两个处 理器的异构计算 服务器中， 包括： 由第一处理器接收数据发送方发送的加噪数据集的密文、 摘要签名和密钥密文集； 所 述加噪数据集为数据发送方对训练数据集添加噪声而得， 所述密钥 密文集包括密钥 密文和 密钥哈希值； 由第一处理器对摘要签名验签且在摘要签名有 效时， 将服务器私钥和数据发送方公钥 发送至第二处 理器； 由第二处理器根据服务器私钥和数据发送方公钥采用 椭圆曲线加密算法计算椭圆曲 线点参数； 由第一处理器根据椭圆曲线点参数和密钥密文得到密钥明文， 根据密钥明文和椭圆曲 线点参数得到密钥哈希值， 验证该密钥哈希值与密钥密文集中的密钥哈希值是否一 致； 密钥哈希值验证通过后， 由第二处理器对加噪数据集的密文进行解密， 得到用于机器 学习训练的加噪数据集。 2.如权利要求1所述的基于异构计算的隐私保护机器学习训练方法， 其特征在于， 对训 练数据集添加的噪声满足差分隐私定义。 3.如权利要求1所述的基于异构计算的隐私保护机器学习训练方法， 其特征在于， 采用 随机数发生器产生的随机数作为私钥， 采用椭圆曲线加密算法计算椭圆曲线点作为公钥， 以此生成数据发送方公私钥对和服 务器公私钥对； 数据发送方根据数据发送方私钥da和服务器公钥pb计算椭圆曲线点参数[da]pb＝(x2, y2)， 然后使用密钥派生 函数KDF生成中间参数t＝KDF(x2||y2,klen)， klen为密钥长度； 使用t加密密钥k， 得到密钥密文 将x2、 y2和密钥k级联后进行哈希运算， 得 到密钥哈希值c2＝Hash(x2||k||y2)， 以此得到密钥密文集C＝c1||c2。 4.基于异构计算的隐私保护机器学习推理方法， 其特征在于， 应用于包括至少两个处 理器的异构计算 服务器中， 包括： 第一处理器接收机器学习模型， 并将机器学习模型转换为布尔电路， 在布尔电路上分 配客户端输入线和服务器输入线； 所述机器学习模型是根据权利要求1 ‑3任一项所述的方 法得到的加噪数据集进行训练而得； 由第二处理器对布尔电路输入层的每条输入线的真实值生成 随机标签， 并根据 上一层 输入线的随机标签得到输出线的随机标签， 根据输入线的随机标签和输出线的随机标签对 布尔电路加密生成混淆电路； 由第一处理器接收客户端发送的输入值， 根据客户端输入线的随机标签得到输入值对 应的随机标签， 并将输入值对应的随机标签发送至客户端； 由第二处理器将混淆电路、 服务器输入线的随机标签和最终输出线上随机标签与真实 值的映射关系发送至客户端， 以使客户端根据输入值对应的随机标签和服务器输入线的随 机标签对混淆电路进 行解密， 并根据解密后得到的最 终输出线的随机标签与接收的映射关 系得到最终推理真实值。 5.如权利要求4所述的基于异构计算的隐私保护机器学习推理方法， 其特征在于， 对布 尔电路加密的过程包括： 密文 其中， ωi和ωj分别为门权　利　要　求　书 1/2 页 2 CN 115314211 A 2上的客户端输入线和服务器输入线， bi和bj分别为客户端输入线和服务器输入线对应的真 实值， ωk为输出线， g(bi,bj)为输出线对应的真实值， 分别为客户端输 入线、 服务器输入线和输出线的随机标签。 6.如权利要求4所述的基于异构计算的隐私保护机器学习推理方法， 其特征在于， 输出 线的随机标签为， 对布尔电路上一层输入线的随机标签， 根据该层 对应的门做异或/与操作 后得到输出线的随机标签， 依次类 推， 直至得到最终输出线上的随机标签。 7.基于异构计算的隐私保护机器学习训练系统， 其特征在于， 至少包括第一处理器和 第二处理器， 所述第一处 理器和第二处 理器执行下述过程： 第一处理器接收数据发送方发送的加噪数据集的密文、 摘要签名和密钥密文集； 所述 加噪数据集为数据发送方对训练数据集添加噪声而得， 所述密钥密 文集包括密钥密 文和密 钥哈希值； 第一处理器对摘要签名验签且在摘要签名有 效时， 将服务器私钥和数据发送方公钥发 送至第二处 理器； 第二处理器根据服务器私钥和数据发送方公钥采用 椭圆曲线加密算法计算椭圆曲线 点参数； 第一处理器根据椭圆曲线点参数和密钥密文得到密钥明文， 根据密钥明文和椭圆曲线 点参数得到密钥哈希值， 验证该密钥哈希值与密钥密文集中的密钥哈希值是否一 致； 密钥哈希值验证通过后， 由第二处理器对加噪数据集的密文进行解密， 得到用于机器 学习训练的加噪数据集。 8.基于异构计算的隐私保护机器学习推理系统， 其特征在于， 至少包括第一处理器和 第二处理器， 所述第一处 理器和第二处 理器执行下述过程： 第一处理器接收基于权利要求1 ‑3任一项所述的方法得到的机器学习模型， 并将机器 学习模型转换为布尔电路， 在布尔电路上分配客户端输入线和服 务器输入线； 第二处理器对布尔电路输入层的每条输入线的真实值生成随机标签， 并根据 上一层输 入线的随机标签得到输出线的随机标签， 根据输入线的随机标签和输出线的随机标签对布 尔电路加密生成混淆电路； 第一处理器接收客户端发送的输入值， 根据客户端输入线的随机标签得到输入值对应 的随机标签， 并将输入值对应的随机标签发送至客户端； 第二处理器将混淆电路、 服务器输入线的随机标签和最终输出线上随机标签与真实值 的映射关系发送至客户端， 以使客户端根据输入值对应的随机标签和服务器输入线的随机 标签对混淆电路进行解密， 并根据解密后得到的最终输出线的随机标签与接收的映射关系 得到最终推理真实值。 9.一种电子设备， 其特征在于， 包括存储器和处理器以及存储在存储器上并在处理器 上运行的计算机指 令， 所述计算机指 令被处理器运行时， 完成权利要求 1‑3任一项所述的方 法和/或权利要求 4‑6任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 用于存储计算机指令， 所述计算机指令被 处理器执行时， 完成权利要求1 ‑3任一项所述的方法和/或权利要求 4‑6任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115314211 A 3