联邦学习技术落地记：数据不出院，模型怎么练？

医院想把三家的影像数据放一起，训个肺结节模型。法务一句话：数据不能出院。项目差点黄。哎，这种事我见太多了。后来他们换了个思路——用联邦学习技术。数据不动，模型动。说白了，把训练搬到数据边上，服务器只收梯度或者模型参数，拼一拼，再发回去。数据还在本地。听着挺美，对吧？

数据不出门，模型怎么串门？

联邦学习技术最早被Google那帮人拿来搞手机键盘预测。2016年那篇论文，核心就一句：别把用户输入传上来，让模型下去。放到行业里，这事就分了三类。横向联邦：大家特征差不多，样本不同。医院A、医院B都有影像，各自病人不重叠。纵向联邦：同一批人，不同特征。银行有流水，电商有消费，重叠用户对上了，联合风控。联邦迁移：重叠少，特征也差得远，靠迁移学习搭桥。 别急着上。先问一句：参与方真的愿意出数据吗？很多时候不是技术问题，是利益问题。模型效果怎么分？贡献怎么算？谁承担通信成本？这些破事，论文里不写，落地时天天吵。

安全聚合不是魔法，差分隐私也有代价

很多人以为联邦学习技术天然隐私。错。原始梯度也能泄露信息。2019年有个挺出名的梯度反演工作，能从梯度里把训练图片重建出来，像素级。吓人不？所以工程上一般叠三层：安全聚合、差分隐私、可信执行环境。 安全聚合，Bonawitz那套，服务器只能看到聚合后的梯度，看不到单个参与方的。像大家把纸条塞进一个箱子，摇匀了再打开。差分隐私呢，在梯度里加噪声，保护单个样本。代价是隐私预算ε一收紧，模型效果就往下掉。这个权衡很现实。TEE靠硬件隔离，但侧信道攻击也不是吃素的。 医院影像科联邦学习数据不出院联合建模架构示意图 我挺烦那种把联邦学习技术吹成万能药的。它更像一套工程妥协学。通信、隐私、效果、成本，四个球来回抛。

大模型时代，联邦学习技术又被打了一针鸡血

这两年端侧大模型火了，联邦学习技术又被拎出来。手机本地微调，参数不上云。理想场景：输入法、语音助手、健康监测。可大模型参数动辄几十亿，全量联邦微调？通信先把你干趴。所以大家转向参数高效微调，LoRA、Adapter那类。只传一小块参数，通信量降下来。FedLoRA这类工作就在试。 金融那边也没停。联合风控、联合营销，纵向联邦用得多。医疗更慢，但价值大。影像、病理、基因组，数据敏感，联邦学习技术正好卡在中间。车联网也有意思，车队在本地学驾驶策略，只共享模型更新。 银行风控联邦学习安全聚合梯度加密流程图 不过话说回来，大模型联邦微调现在还在早期。效果稳不稳？参与方异构怎么办？掉线怎么办？都是坑。

掉线、异构、搭便车：工程坑一个不少

掉线、异构、搭便车：工程坑一个不少 实验室里跑联邦学习技术，十台机器整齐划一。真实场景？手机电量不一样，网络时好时坏，有的参与方半夜才上线。异步联邦能缓解，但staleness会让模型学偏。FedProx这类方法加个近端项，约束本地模型别跑太远。有用，但不是银弹。 还有搭便车。有人只下载模型，不好好训练，蹭别人的贡献。拜占庭鲁棒聚合，Krum、Trimmed Mean，能挡一部分恶意更新。可攻击也在进化。公平性也是问题，q-FedAvg想让贡献大的参与方多受益，但怎么定义贡献？又是一笔糊涂账。 通信压缩是另一个硬骨头。量化、稀疏化、梯度裁剪，甚至用知识蒸馏传软标签。Deep Gradient Compression那类工作，能把通信量压到百分之一级别。但压缩太狠，收敛就抖。 开源框架倒是不少。FATE偏金融，FedML、Flower、NVIDIA FLARE各有侧重。选型别只看星标，得看调度、加密、监控、断点续训。这些才是上线后的救命绳。 结尾我不总结。就一句：联邦学习技术不是银弹，是一套在隐私和效果之间找平衡的工程方法。选对场景，比堆算法重要。下一个坑，可能在通信调度，也可能在参与方的良心。