本文在联邦学习场景下，提出了一种 Digestive neural networks （后称DNN，区别于传统的DNN），类似于输入数据的特征工程，用于“抽取原始数据的有效特征，并修改原始数据使之不同”，本地模型经过处理后的数据进行训练，从而大大降低了 FL 中各类推断攻击的成功率（假设server是攻击者）。

现有工作的不足

现有的对于 FL 通信中隐私保护的工作主要有两种：differential privacy 和 cryptographic encryption ，前者损害了模型的准确率、使模型难以收敛；后者需要大量的算力，降低了学习的速度。

Digestive neural networks 做了什么

Digestive neural networks 处理后的数据保护了 FL 中每一个 client 的隐私。结合提出的 digestive loss，DNN produces digested
mini-batch that has features useful for classification and has the maximum distance from the original mini-batch.
这里的 distance 指的是处理前后数据的梯度。digestive loss仅限针对于 DNN 优化，即假设优化DNN时 local model 的参数为常量。

来看一下整体的框架：

原始输入图片 经过 DNN 会变得大不一样，他们上传的梯度也是不太一样，但是却能保证 local 模型的acc。

来看下具体是怎么做的：

这个网络中，通过下式优化 digestive loss LDL_DLD​：


，其中，LdL_dLd​衡量原始样本变化前后的梯度的距离，越大越好，dist 表示距离，可以用L1L2范数