近日，特斯联首席科学家、特斯联国际总裁邵岭博士及其合作团队发布最新研究成果，提出了基于在线拉普拉斯近似（Online Laplace Approximation）的贝叶斯联邦学习框架(Bayesian Federated Learning Framework)。该框架通过在线拉普拉斯近似方法来优化联邦学习中的聚合误差和局部遗忘问题，不仅推动了机器学习技术的发展，也为解决现实世界医疗、金融、制造等场景中的复杂问题提供了新的思路和工具。目前，该研究成果已被人工智能领域顶级学术期刊IEEE T-PAMI 2024年46卷第一期收录，题为：A Bayesian Federated Learning Framework with Online Laplace Approximation。

以下为论文原文摘录。

联邦学习（FL）允许多个客户端通过模型聚合和本地模型训练的循环过程，协作学习一个集中共享的模型，而无需共享数据。大多数现有的FL方法在不同客户端上分别训练本地模型，然后简单地平均它们的参数以在服务器端获得一个集中模型。然而，这些方法通常受到较大的聚合误差和严重的局部遗忘问题的困扰，特别是在异构数据环境中更为明显。

为了解决上述问题，在该论文中，团队提出了一个全新的FL框架，该框架使用在线拉普拉斯近似法，以近似客户端和服务器端的后验。在服务器端，采用多变量高斯乘积机制（Multivariate Gaussian Product Mechanism）来构建和最大化全局后验，从而大大减少由本地模型之间的巨大差异所引起的聚合误差。在客户端，设计了一种先验损失，使用服务器发送的全局后验概率参数来指导本地训练。结合来自其他客户端的此类学习约束，团队所提出的方法能够减轻局部遗忘问题。最后，团队在几个基准测试上取得了最先进的结果，清楚地证明了所提出方法的优势。

研究亮点：

·贝叶斯视角：与传统的优化视角不同，论文从贝叶斯后验概率的角度出发，分析了联邦学习中的问题。

·在线拉普拉斯近似：提出了一种全新的在线拉普拉斯近似方法，用于在客户端和服务器端近似后验概率。

·多变量高斯乘积机制：在服务器端，使用多变量高斯乘积机制构建和最大化全局后验概率，有效降低了聚合误差。

·先验迭代策略：在客户端，设计了一种先验损失函数，使用服务器发送的全局后验概率参数指导本地训练，以减轻局部遗忘问题。

该研究成果在机器学习领域具有重要的长远意义：在数据隐私保护方面，该框架强化了数据隐私保护，符合当前对数据安全和隐私日益增长的需求；在异构数据处理能力方面，这一方法改进了在异构数据环境下的模型训练效果，对于现实世界中常见的数据分布不均的场景尤为重要；在模型泛化能力方面，通过减少聚合误差和局部遗忘问题，该研究提高了模型的泛化能力，使得模型在未见过的数据上也能表现良好；在算法效率方面，通过在线拉普拉斯近似和多变量高斯乘积机制，该研究提高了联邦学习算法的效率，减少了计算和通信成本；最后，在机器学习模型的健壮性方面，该方法通过先验损失的设计，增强了模型在面对不同客户端数据分布时的健壮性。

基于前述特性，该研究成果在医疗保健、金融服务、智能制造等专业、高安全要求的现实场景中拥有广泛的应用前景。