(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211074718.6 (22)申请日 2022.09.02 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 申请人 南方电网科 学研究院有限责任公司 (72)发明人 徐玲玲　徐培明　林宇　蒋屹新　 匡晓云　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄卫萍 (51)Int.Cl. H04L 9/08(2006.01) H04L 9/30(2006.01) (54)发明名称 基于拆分混洗的联邦学习方法、 装置、 设备 和介质 (57)摘要 本发明公开了一种基于本地差分隐私和拆 分混洗的联邦学习方法， 联邦 学习客户端首先在 认证服务器中注册， 在上传梯度信息之前， 先使 用隐私保护算法进行处理， 然后对隐私保护梯度 加密， 生成一则消息发送给认证服务器。 认证服 务器对消息进行验证， 验证完成后将梯度信息进 行拆分混洗后发送给联邦学习服务器端， 切断联 邦学习服务器端中梯度信息与每一个联邦学习 客户端的联系， 增强隐私保护 能力， 同时保证模 型的高性能。 本发明使用指数机制的本地差分隐 私， 更好实现对梯度信息的差分隐私保护； 然后 将隐私保护梯度信息上传至认证服务器进行认 证， 保证梯度信息的正确性； 最后将梯度信息上 传至联邦学习服务器端之前， 进行拆分混洗处 理， 提高隐私保护强度。 权利要求书3页 说明书10页 附图3页 CN 115442036 A 2022.12.06 CN 115442036 A 1.一种基于本地差分隐私和拆分混洗的联邦学习方法， 其特征在于， 所述联邦学习方 法包括以下步骤： S1、 初始化阶段： 联邦学习服务器端将初始的模型参数θ0发送至联邦学习客户端， 联邦 学习客户端生成RSA公钥pk与RSA私钥sk， 将RSA公钥pk发送至认证服务器中进行注册， 得到 自身id， 然后接收联邦学习服 务器端发送的模型参数θ0， 在本地初始化模型； S2、 模型训练： 联邦学习客户端使用本地数据训练模型， 在完成模型训练后使用隐私保 护算法Φ处理模型的梯度信息g， 生成隐私保护梯度g ′； 然后使用RSA私钥sk加密隐私保护 梯度g′， 得到密文c， 并将密 文c、 隐私保护梯度g ′与自身的id级 联， 组合成一则消息M发送给 认证服务器； S3、 梯度信 息认证与处理： 认证服务器在接收到联邦学习客户端发送的消息后， 对消息 进行解析， 根据id获取对应的RSA公钥pk， 使用公钥pk解密密文c， 将解密结果与隐私保护梯 度g′比对， 确认隐私保护梯度g ′没有遭到替换或篡改； 在收集全部联邦学习客户端的隐私 保护梯度g ′后， 从中随机挑选出k个客户端的隐私保护梯度g ′， 对k个客户端的隐私保护梯 度g′进行拆分 混洗处理， 得到梯度集 合G， 发送给 联邦学习服 务器端； S4、 梯度信息聚合： 联邦学习服务器端接收从认证服务器发送的梯度集合G， 对梯度集 合G中梯度信息进 行聚合， 然后使用聚合后的梯度信息更新认证服务器上的模型， 在 模型更 新完成后得到新的模型参数θ1， 将模型参数θ1发送给联邦学习客户端， 开始新一轮迭代， 在 完成预先设定的总迭代轮次后， 结束联邦学习方法。 2.根据权利要求1所述的基于本地差分隐私和拆分混洗的联邦学习方法， 其特征在于， 所述模型表示机器学习算法， 所述机器学习算法为卷积神经网络算法或全连接神经网络算 法。 3.根据权利要求1所述的基于本地差分隐私和拆分混洗的联邦学习方法， 其特征在于， 所述步骤S1过程如下： S1a、 联邦学习客户端使用素数生成器 生成两个大素数(p,q)， 并计 算两者的乘积N＝p ×q； S1b、 联邦学习客户端计算参数p ‑1和参数q ‑1的最小公倍数L； 根据 参数L求出参数E， 其 中， 参数E需要满足和参数L的最大公约数是1， 且1<E<L； 然后求得参数D， 其中， 参数D需要满 足(E×D)modL＝1， 且1<D<L， 其中mod()表示取模运 算； S1c、 联邦学习客户端根据以上参数得到RSA公钥pk＝<E,N>， RSA私钥sk＝<D,N>， 并将 RSA公钥pk发送至认证服 务器进行注 册； S1d、 认证服务器维护一个列表P用来存放联邦学习客户端的RSA公钥pk和id， 当认证服 务器接收到联邦学习客户端发送的RSA公钥pk时， 为该联邦学习客户端分配一个id， 将该id 发送给联邦学习客户端， 并将id和RSA公钥pk存 储至列表P中； S1e、 联邦学习服务器端初始化模型， 模型参数是θ0， 将模型参数θ0发送给联邦学习客户 端； 联邦学习客户端在接收到模型参数θ0后在本地构建模型。 4.根据权利要求1所述的基于本地差分隐私和拆分混洗的联邦学习方法， 其特征在于， 所述步骤S2过程如下： S2a、 联邦学习客户端使用本地数据训练模型， 将训练后模型的梯度表示为g＝(g1, g2,…,gn)， 其中gi表示梯度信息g第i维的实数值；权　利　要　求　书 1/3 页 2 CN 115442036 A 2S2b、 将模型梯度信息g中每个维度的实数转化为[ ‑c·10ρ,c·10ρ]内的一个整数r， 其 中， c表示整数域的范围， ρ 表示实数的精度， 在进行转 化时一个实数只保留小数点后ρ 位； S2c、 计算r与区间[ ‑c·10ρ,c·10ρ]内每个整数的分数， 计算公式如下： 其中， y表示在区间[ ‑c·10ρ,c·10ρ]内的一个整数， 且 y≠r； d(r,y)表示r和y之间的欧 氏距离； α 表示隐私参数， 用于控制隐私保护强度； S2d、 计算区间[ ‑c·10ρ,c·10ρ]内每个整数被选中作为输出的概 率， 计算公式如下： 其中， 表示区间[ ‑c·10ρ,c·10ρ]内全部整数的分数总和； r′表示区间[ ‑c·10ρ,c·10ρ]中被选中作为输出的整数， r ′≠r； S2e、 根据步骤S2d中计算的每个整数被选中的概率， 从区间[ ‑c·10ρ,c·10ρ]中挑选一 个整数替换梯度信息g中的原始值； 在对梯度信息g中的全部值完成替换后， 得到隐私保护 梯度g′； S2f、 联邦学习客户端使用RSA私钥sk＝<D,N>， 计算用于认证服务器验证的隐私 保护梯 度g′的密文c＝(g ′)DmodN； S2g、 联邦学习客户端将密文c、 隐私保护梯度g ′与自身id进行级联， 得到消息M＝<c, g′,id>， 将消息 M发送给认证服 务器。 5.根据权利要求1所述的基于本地差分隐私和拆分混洗的联邦学习方法， 其特征在于， 所述步骤S3过程如下： S3a、 认证服务器接收联邦学习客户端发送的消息， 并解析为M＝<c,g ′,id>， 根据id值 从列表P中获取对应联邦学习客户端的RSA公钥pk； S3b、 认证服 务器将RSA公钥解析为pk ＝<E,N>， 并使用下面公式解密 密文c， 得到明文m: m＝(c)EmodN S3c、 对比m与g ′， 若两者相同， 则表示联邦学习客户端发送的隐私 保护梯度g ′没有被替 换或篡改， 保证了隐私保护梯度g ′的正确性； S3d、 当全部联邦学习客户端的隐私保护梯度验证完成后， 认证服务器从全部联邦学习 客户端中随机挑选k个联邦学习客户端的隐私保护梯度g ′， 假设总共有B个客户端， 则挑选 的概率为k/B， 舍弃 未被选中的联邦学习客户端的隐私保护梯度g ′； S3e、 认证服 务器将这 k个联邦学习客户端的隐私保护梯度进行拆分 混洗处理； S3f、 认证服务器将拆分混洗后的隐私保护梯度组合成一个集合， 表示为G， 并将集合G 发送给联邦学习服 务器端。 6.根据权利要求5所述的基于本地差分隐私和拆分混洗的联邦学习方法， 其特征在于， 所述步骤S3e中拆分 混洗处理的过程如下： 首先将隐私保护梯度g ′中的值拆分， 只保留每个值的维度信息， 然后将每个值的相对 位置打乱之后重新排序， 将k个处于相同维度的不同值表示为 其中， 1≤j≤k， 表示k 个维度为 i的值中的第j个。权　利　要　求　书 2/3 页 3 CN 115442036 A 3