(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210938530.5 (22)申请日 2022.08.05 (71)申请人 广州大学 地址 510006 广东省广州市大 学城外环西 路230号 (72)发明人 陈淑红　杨家维　王国军　揭智勇　 彭滔　冯光辉　 (74)专利代理 机构 广州高炬知识产权代理有限 公司 44376 专利代理师 孙明科 (51)Int.Cl. G06N 3/08(2006.01) H04L 9/40(2022.01) (54)发明名称 基于联邦学习的自适应隐私预算分配的梯 度压缩框架 (57)摘要 本发明公开了一种基于联邦学习的自适应 隐私预算分配的梯度压缩框架， 包括： 基于T op‑k 的梯度降维压缩模块、 基于本地差分隐私的隐私 保护模块、 通信轮次的参数聚合模块、 自适应的 隐私预算分配模块； 客户端将自己训练得到的梯 度参数上传到服务器前， 通过基于Top ‑k的梯度 降维压缩模块对当前的梯度参数进行压缩， 随 后， 通过基于本地差分隐私的隐私保护模块对梯 度参数进行扰动， 随后将压缩和扰动后的梯度参 数上传到服务器， 服务器将客户端上传的梯度参 数进行聚合； 最后通过自适应的隐私预算分配模 块在不同轮次的训练中根据需要的噪声量分配 隐私预算。 本发明减少了模型的通信代价、 噪声 大小、 总的隐私预算的损耗， 模型准确性 好。 权利要求书2页 说明书6页 附图1页 CN 115496198 A 2022.12.20 CN 115496198 A 1.一种基于联邦学习的自适应隐私预算分配的梯度压缩框架， 其特征在于， 包括： 基于 Top‑k的梯度降维压缩模块、 基于本地差分隐私的隐私保护模块、 通信轮次的参数聚合模 块、 自适应的隐私预算分配模块； 客户端将自己训练得到的梯度参数上传到服务器前， 通过 所述基于Top ‑k的梯度降维压缩模块对当前的梯度参数进 行压缩， 随后， 通过所述基于本地 差分隐私的 隐私保护模块对所述梯度参数进 行扰动， 随后 将压缩和扰动后的梯度参数上传 到服务器， 服务器将客户端上传的梯度参数进行聚合； 最后， 通过所述自适应的 隐私预算分 配模块在不同轮次的训练中根据需要的噪声量分配隐私预算。 2.根据权利要求1所述的基于联邦学习的自适应隐私预算分配的梯度压缩框架， 其特 征在于， 所述基于Top ‑k的梯度降维压缩模块在客户端完成本地迭代训练后， 计算本地模 型 的梯度 d维模型参数 的对应梯度为 其中t为通信轮次。 3.根据权利要求2所述的基于联邦学习的自适应隐私预算分配的梯度压缩框架， 其特 征在于， 所述基于Top ‑k的梯度降维压缩模块在 模型参数的d维 中选择梯度绝对值最大的前 K个维度上传， 其中K<d； 根据每一维度的绝对值大小对本地模型梯度 进行排序： 其中， 排序算法sort按降序方法排序， 表示经过排序后的梯度， 梯度 的大小根据维度依次递减； 排序后 从排序好的d维梯度参数 中选取前K个维度作为压缩 后的模型： 其中， TopK表示的是梯度压缩方案， 表示经过压缩后的梯 度。 4.根据权利要求1所述的基于联邦学习的自适应隐私预算分配的梯度压缩框架， 其特 征在于， 所述基于本地差分隐私的 隐私保护模块通过对客户端上传的梯度参数添加差 分隐 私噪声， 实现严格的隐私保障， 具体地， 对于模型的梯度参数G， 扰动算法通过随机化G的每 一个维度， 并返回一个扰动后的梯度参数G*； 扰动机制 对G中的每 一维度的梯度参数g， 做 如下限制： g∈[c ‑r,c+r]， 其中c是g的范围中心， r是该范围的半径； 通过LDP机制对g进行扰 动： 其中， G*是经过LDP机制扰动之后的噪声权重， 包含d维， 是差分私有的扰动机制， ε为 分配到梯度参数中特定维度的隐私预算。 5.根据权利要求4所述的基于联邦学习的自适应隐私预算分配的梯度压缩框架， 其特 征在于， 所述基于本地差分隐私的隐私保护模块对压缩后的梯度参数 使用LDP机制扰动： 其中， 是经过压缩和扰动的梯度。权　利　要　求　书 1/2 页 2 CN 115496198 A 26.根据权利要求5所述的基于联邦学习的自适应隐私预算分配的梯度压缩框架， 其特 征在于， 所述基于本地差分隐私的隐私保护模块中， 根据裁剪梯度参数g的方法， 设置限制 梯度参数g的范围参数c和r。 7.根据权利要求1所述的基于联邦学习的自适应隐私预算分配的梯度压缩框架， 其特 征在于， 所述通信轮次的参数聚合模块在所有本地客户端对压缩后的梯度参数添加噪声 后， 将其本地梯度参数 上传到服 务器进行聚合， 服 务器为当前通信轮次t+1分配隐私预算 εt+1给每个客户端， 随后 将新的全局模 型发送给参与训练的客户端进 行训练， 循环上述操作 直到达到收敛条件。 8.根据权利要求7所述的基于联邦学习的自适应隐私预算分配的梯度压缩框架， 其特 征在于， 所述通信轮次的参数聚合模块收到用户上传的梯度参数后， 通过以下公式聚合所 述梯度参数： 其中wt是当前轮次t待更新的全局模型， wt+1是下一轮次t+1更新后的全局模型参数， 为所有客户端梯度参数的均值， α 为更新 算法的学习率。 9.根据权利要求1所述的基于联邦学习的自适应隐私预算分配的梯度压缩框架， 其特 征在于， 所述自适应的隐私预算分配模块 通过隐私预算分配方案： 对不同通信轮次分配不同的隐私预算， 其中ε是训练的总隐私预算， εt是分配到第t轮的 隐私预算， T是总的通信轮次。权　利　要　求　书 2/2 页 3 CN 115496198 A 3