IJCAI2025教程聚焦联邦随机组合优化与双层优化，探讨其独特挑战、最新进展与实际应用，拓展联邦学习在复杂机器学习问题中的边界。
原文标题：【IJCAI2025教程】联邦组合优化与双层优化
原文作者：数据派THU
冷月清谈：
本次IJCAI2025教程深入探讨了联邦随机组合优化（SCO）和联邦随机双层优化（SBO）领域。近年来，联邦学习受到广泛关注，但其发展多集中于传统的最小化问题。然而，机器学习中许多新兴的学习范式，如模型无关元学习、不平衡数据分类、对比自监督学习、图神经网络和神经架构搜索等，都能被有效表述为SCO和SBO问题，这些问题超越了传统最小化范畴，揭示了联邦学习的巨大潜力。文章指出，组合结构和双层结构为联邦学习带来了独特的计算和通信挑战。为了应对这些挑战，研究人员已开发出一系列联邦SCO和SBO方法。本教程旨在系统性地介绍这些未被广泛传播的最新进展、独特挑战以及实际应用。观众将通过本教程深入理解联邦随机组合优化与联邦随机双层优化算法，并学习如何将其有效地应用于各类实际场景中，从而拓宽联邦学习在更复杂机器学习问题中的应用边界。
怜星夜思：
1、文章里提到，联邦组合优化和双层优化可以应用到元学习、不平衡数据分类、图神经网络这些新模型里。那么问题来了，这些复杂的学习任务在“联邦”环境下，具体会遇到哪些跟传统中心化优化完全不一样，甚至更棘手的挑战呢？大家有没有思考过这些挑战可能对我们实际应用项目产生什么影响？
2、文章里强调联邦组合优化和双层优化带来了“独特的计算和通信挑战”。你们觉得具体这“独特”在哪？和我们平时接触的传统联邦平均（FedAvg）相比，这些新挑战会给联邦学习的性能、效率或者甚至安全性带来什么新的权衡和考量？
3、联邦学习的初衷之一就是保护数据隐私，让数据不出本地就能训练模型。但当引入组合优化和双层优化这种更复杂的模型结构时，大家觉得在隐私保护、公平性或者模型可解释性方面，会不会出现一些新的挑战或者意想不到的问题呢？在实际部署中，大家会如何权衡这些潜在的问题？
2、文章里强调联邦组合优化和双层优化带来了“独特的计算和通信挑战”。你们觉得具体这“独特”在哪？和我们平时接触的传统联邦平均（FedAvg）相比，这些新挑战会给联邦学习的性能、效率或者甚至安全性带来什么新的权衡和考量？
3、联邦学习的初衷之一就是保护数据隐私，让数据不出本地就能训练模型。但当引入组合优化和双层优化这种更复杂的模型结构时，大家觉得在隐私保护、公平性或者模型可解释性方面，会不会出现一些新的挑战或者意想不到的问题呢？在实际部署中，大家会如何权衡这些潜在的问题？
原文内容
来源：专知本文约1000字，建议阅读5分钟本教程旨在介绍联邦SCO和SBO的独特挑战、最新进展以及实际应用。
联邦学习
近年来受到广泛关注，催生了大量方法。然而，大多数方法仅关注传统的最小化问题，未能解决机器学习中新兴的学习范式。因此，本教程聚焦于可以表述为随机组合优化（SCO）问题和随机双层优化（SBO）问题的学习范式，因为它们涵盖了传统最小化问题之外的各种机器学习模型，如模型无关元学习、不平衡数据分类模型、对比自监督学习模型、图神经网络、神经架构搜索等。组合结构和双层结构为联邦学习带来了独特的计算和通信挑战。为了应对这些挑战，近年来开发了一系列联邦组合优化和联邦双层优化方法。然而，这些进展并未得到广泛传播。因此，本教程旨在介绍联邦SCO和SBO的独特挑战、最新进展以及实际应用。观众将通过本教程深入了解联邦SCO和SBO算法，并学习如何将其应用于实际应用中。
https://hcgao.github.io/tutorial_ijcai2025.html
