使用 Adaptive Quantization 与 Differential Privacy 提升 Non-IID Federated Learning 的隐私和通信效率

Federated learning（FL，联邦学习）是一种分布式 machine learning 方法，多个设备在中央服务器的管理下协同训练模型，而无需共享底层数据。FL 的关键挑战之一是通信瓶颈，这一瓶颈源于不同设备之间连接速度和带宽的差异。因此，在训练过程中减少传输数据的大小至关重要。此外，在训练期间通过模型或 gradient 分析可能存在暴露敏感信息的风险。

为同时提升隐私保护和通信效率，我们结合了 differential privacy（DP，差分隐私）和自适应 quantization 方法。我们使用基于 Laplacian 的 DP 来保护隐私；相较而言，该方法在 FL 中研究较少，并且比基于 Gaussian 的 DP 提供更严格的隐私保证。我们提出了一种简单高效的全局 bit-length scheduler，采用基于 round 的 cosine annealing；同时提出一种基于 client 的 scheduler，可根据通过数据集 entropy 分析估计得到的 client 贡献进行动态适配。

我们在 CIFAR10、MNIST 和 medical imaging 数据集上进行了大量实验评估，实验涵盖不同 client 数量、bit-length scheduler 和 privacy budget 下的 non-IID 数据分布。结果表明，与 32-bit float 训练相比，我们的自适应 quantization 方法在保持有竞争力的模型准确率并通过 differential privacy 确保稳健隐私保护的同时，可将总通信数据量在 MNIST 上最多减少 52.64%，在 CIFAR10 上最多减少 45.06%，在 medical imaging 数据集上减少 31% 至 37%。