FedDRM：联邦学习客户端智能路由新范式，从“聚合”到“引导”的跃迁

AI资讯
1

FedDRM开启联邦学习新范式，从“聚合”到“引导”，让服务器具备客户端智能路由能力，提升系统准确率。

原文标题：ICLR 2026 | 从「聚合」到「引导」：FedDRM开启客户端智能路由新范式

原文作者：机器之心

冷月清谈：

本文提出一种新的联邦学习框架FedDRM，将传统的“聚合范式”拓展到“路由范式”。FedDRM使服务器具备了“把问题交给最合适的客户端处理”的能力，通过密度比模型（DRM）和经验似然（EL），实现模型预测能力和客户端路由能力的同步学习。该方法无需额外的生成模型，只需在现有网络上增加一个轻量分支即可实现系统级智能，并在CIFAR-10/100和RETINA等数据集上取得了稳定提升。FedDRM改变了联邦学习系统作为整体的服务方式，使服务器能够对外部请求进行分布推断与路由决策，为医疗协作、金融风控和物联网等领域提供了新的可能性。

怜星夜思：

1、FedDRM这种“客户端路由”的思路，在实际应用中会遇到哪些挑战？例如，如何保证路由的公平性，避免某些客户端负载过重？
2、文章提到FedDRM在医疗影像数据集上取得了显著提升，那么除了医疗领域，你认为FedDRM在哪些其他领域有潜在的应用价值？
3、文章中提到，FedDRM通过密度比估计来解决客户端路由问题，这个思路是如何体现“利用异质性”而非“消除异质性”的？

原文内容

图片
图片1080×616 40.1 KB


本文第一作者为中国人民大学王梓鉴，通讯作者为中国人民大学张琼老师 (https://sarahqiong.github.io/) 。其他作者还包括中南财经政法大学章晓菲老师以及华东师范大学刘玉坤老师。


在传统联邦学习（Federated Learning, FL）中，统计异质性常被视为一种系统性障碍。具体而言，客户端之间数据分布的差异性，往往导致训练统一的全局模型难以适配所有客户端的需求；而个性化方法虽能提升本地性能，却往往令系统陷入客户端「各自为政」的僵局，从而丧失了整体的协同能力。对此，本文提出一种不同观点：数据异质性并非噪声，而是信息。关键不在于消除它，而在于利用它。


本文提出的 FedDRM 将联邦学习从传统的「聚合范式」拓展到「路由范式」：服务器不再只负责模型聚合，还能对来自系统外部的请求进行判断，并将其路由到最合适的客户端来处理。



  • 论文地址：https://arxiv.org/abs/2509.23049v2

  • 代码地址：https://github.com/zijianwang0510/FedDRM


要点速览


一句话概括，FedDRM 让服务器第一次具备了「把问题交给最合适的客户端处理」 的能力。


  • 首次把联邦学习中的客户端路由问题建模为密度比估计问题

  • 通过密度比模型（Density Ratio Model, DRM）+ 经验似然（Empirical Likelihood, EL），自然地得到了一个统一的目标函数，可以同时学习：模型预测能力和客户端路由能力

  • 无需额外的生成模型，只需在现有网络上增加一个轻量分支即可实现系统级智能

  • 在通用自然图像数据集 CIFAR-10/100 与专业医疗影像数据集 RETINA 上，系统准确率取得稳定提升


为什么现有联邦学习方法不会「客户端路由」？


设想一个真实场景：不同医院各自擅长治疗不同疾病。当一位新患者出现时，最关键的问题其实并不是把所有医院的意见汇总起来做决策，而是这位患者应该被转诊到哪一家最合适的医院就诊。


图片
图片434×297 50.9 KB


遗憾的是，现有联邦学习方法并没有回答这个问题。主流个性化 FL（如 FedAvgFT、FedRep） 虽然训练出了多个客户端本地模型，但在系统层面仍存在明显不足，当面对系统外部的请求时：

  • 服务器缺乏对请求进行匹配与分发的机制与依据

  • 通常只能采用平均、投票或随机选择等粗粒度策略

换句话说，它们训练的是多个「好模型」，但缺少的是选择哪个模型的能力。


把「客户端路由」变成一个可以学习的问题


如果希望服务器真正具备客户端路由的能力，就必须回答一个更基础的问题：给定一个新样本，它更像是来自哪个客户端的数据？


一旦这样表述，客户端路由问题就自然转化为了一个跨客户端的样本边际分布估计与判别问题。


FedDRM 将每个客户端的样本边际分布建模为对一个共享的基础分布的指数倾斜，用少量参数刻画客户端之间的统计异质性。


图片


另一个关键挑战是：一旦对基础分布作出强参数化假设，若与真实生成过程不符，就会引入模型误设偏差，并进一步影响路由决策。


因此，FedDRM 进一步引入了经验似然方法，使得基础分布不依赖具体的参数形式，而是完全由数据驱动。


在 DRM+EL 框架下，可以证明，最大化经验似然函数等价于最小化两个交叉熵风险之和：

  • 目标分类损失：学习任务本身

  • 客户端分类损失：学习样本来自哪个客户端


图片
图片527×343 77 KB


因此，这并不是人为拼接的多任务技巧，而是统计建模推导出的必然形式。模型在训练中，同时获得了两种能力：1）对任务的判别能力；2）对数据来源的识别能力。从而在同一个模型中，自然统一了个性化建模与系统级路由决策。


如何评估一个联邦系统是否具备「路由能力」？


传统 FL 只聚焦于客户端本地准确率，无法反映出系统层面的关键能力：当一个来自系统外部的全新查询到来时，服务器能否做出正确的分发决策，把请求交给最合适的客户端处理。因此，我们引入系统准确率（System Accuracy）：

1. 服务器先根据样本特征预测最匹配的客户端

2. 再由相应的客户端的本地模型完成预测

这更接近真实部署流程，而非理想化的已知归属测试。


实验结果：系统与个性化的双赢


在 CIFAR-10/100 与 RETINA 数据集上的实验表明：

  • 系统级准确率相比现有个性化 FL 方法取得一致提升

  • 在真实医疗数据集 RETINA 上的提升约 1.41%–7.67%

  • 训练过程稳定，无需复杂的生成模型


图片
图片975×375 197 KB


图片
图片975×274 60.5 KB


这意味着什么？


FedDRM 改变的不只是模型性能，更是联邦学习系统作为整体的服务方式。服务器不再仅仅做参数共享与模型聚合，而是能够对外部请求进行分布推断与路由决策，把查询交给最合适的客户端处理，从而使联邦系统首次以一个整体的身份对外提供服务。这为许多真实场景提供了新的可能性：


  • 医疗协作：将病例自动匹配到最合适的医院模型

  • 金融风控：根据用户分布差异调用专属风险模型

  • 物联网：让边缘节点成为可调度的「专家网络」


联邦学习不再只是保护隐私的训练框架，而开始成为一个具备结构化决策能力的智能系统。我们也非常期待来自各方的讨论与反馈，一起探索：当系统真正「理解异质性」之后，联邦学习还能走多远。


© THE END

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com

2

这个问题很有意思！如果简单地按照“最匹配”原则进行路由，确实可能导致某些“专家”客户端过载，而其他客户端长期处于闲置状态。个人觉得，可以考虑引入一些机制来平衡负载，比如：

1. 设置客户端的最大服务请求数：当某个客户端的请求数达到上限后，就暂时将其从路由列表中移除，转而选择次优的客户端。
2. 引入“服务积分”：客户端每处理一个请求，就获得一定的积分，积分可以用来提升其被路由的优先级。积分可以通过参与模型训练、提供高质量数据等方式获得，以此激励客户端的积极性。
3. 定期调整路由策略：根据客户端的实际负载情况和性能表现，动态调整路由策略，避免长期依赖单一的路由方案。

此外，还需要考虑客户端的硬件资源、网络状况等因素，避免将请求路由到性能较差的客户端，影响整体的服务质量。

3

除了文章里提到的金融风控和物联网，我觉得FedDRM在教育领域也有很大的潜力。想想看，每个学校的教学资源、师资力量都不同，学生的学习基础、兴趣爱好也各异。如果能利用FedDRM，将学生的学习需求与最合适的教学资源进行匹配，就能实现个性化教育，提升教学效果。

例如，可以根据学生的知识掌握程度、学习风格等特征，将他们分配到不同的学习小组或课程中。对于学习困难的学生，可以将其分配到有经验的老师或辅导员那里，获得更专业的指导。对于有特长的学生，可以为其提供更高级的课程或项目，激发他们的学习潜力。

4

除了技术上的挑战，我觉得还要考虑数据隐私和所有权的问题。如果客户端的数据被频繁访问，他们可能会担心自己的数据被滥用或泄露。因此，在实施FedDRM时，需要充分尊重客户端的数据主权，并采取严格的隐私保护措施。

例如，可以使用差分隐私（Differential Privacy）技术，在路由决策中加入一定的噪声，从而保护客户端的数据隐私。此外，还可以引入可信执行环境（Trusted Execution Environment, TEE），确保数据在安全的环境中进行处理，防止未经授权的访问。

5

农业领域也是一个很有前景的方向！不同的地区气候、土壤条件差异很大，种植的作物也各不相同。利用FedDRM，可以将不同地区的农业数据进行整合，为农民提供更精准的种植指导。

例如，可以根据土壤湿度、气温、光照等数据，预测作物的生长情况，并为农民提供施肥、灌溉等建议。对于病虫害高发地区，可以提前预警，并提供相应的防治措施。这样可以提高农作物的产量和质量，降低种植成本，实现农业的可持续发展。

6

我理解的“利用异质性”是指，承认并尊重每个客户端数据的独特性，而不是强行将它们拉平。FedDRM没有试图让所有客户端的模型都一样，而是学习每个客户端的“个性”，然后根据样本的特征，选择最了解这种“个性”的客户端来处理。

举个例子，就像中医看病，不是千人一方，而是根据每个人的体质、症状开不同的药方。FedDRM就像一个智能的中医，它能识别出每个人的“体质”（数据分布），然后选择最合适的“药方”（客户端模型）来治疗。

7

嘿，我觉得FedDRM在游戏领域也能玩出新花样！想想看，不同的玩家擅长的游戏类型、操作习惯都不同。如果能利用FedDRM，将玩家与最匹配的游戏服务器或AI对手进行匹配，就能提供更个性化的游戏体验。

例如，对于新手玩家，可以将其匹配到难度较低的游戏服务器或AI对手那里，让他们更容易上手。对于高手玩家，可以为其提供更具挑战性的游戏环境，让他们充分发挥自己的实力。甚至可以根据玩家的情绪状态，动态调整游戏难度，让玩家始终保持最佳的游戏体验。

8

这个问题问到了FedDRM的核心！传统的联邦学习方法，例如FedAvg，试图通过模型聚合来消除客户端之间的差异，使得全局模型能够尽可能地适应所有客户端。而FedDRM则反其道而行之，它并不试图消除异质性，而是将异质性视为一种信息，并通过密度比估计来捕捉客户端之间的差异。

具体来说，密度比衡量的是两个概率分布的相对可能性。在FedDRM中，密度比模型用于估计新样本来自不同客户端的概率。通过学习密度比，服务器就能了解每个客户端的独特数据分布特征，从而将样本路由到最合适的客户端。这种方法并没有试图让所有客户端的数据分布趋同，而是充分利用了客户端之间的差异，实现了更高效的个性化建模。

9

从数学的角度来看，FedDRM实际上是在学习客户端数据分布的“指纹”。密度比模型就像一个“指纹识别器”，它能识别出每个客户端数据的独特特征，并将其与其他客户端的数据区分开来。通过学习这些“指纹”，服务器就能准确地将样本路由到最合适的客户端，从而实现个性化的建模。

这种方法避免了对数据分布的强假设，而是完全由数据驱动。这意味着FedDRM能够适应各种类型的数据分布，即使数据分布非常复杂或不规则，也能有效地进行客户端路由。