FairFed:基于合作夏普利值的联邦学习激励机制设计

主讲人:常姗

摘要

本文设计了一种基于合作夏普利值的联邦学习激励机制方法,用于贡献评估和酬劳分配。本文将联邦学习视为多次单阶段的合作博弈。它允许客户及时获得公平的酬劳。本文根据联邦学习中的特征函数不满足超可加性这一事实,修改了夏普利值。使客户即使持有非独立同分布的数据,数据质量也能得到正确的评估。因此本文很少给不可缺少的客户分配负值。使用基于客户类型的特征函数的紧凑表达,并结合联邦学习中的参数聚合方法对其进行修改,本文将夏普利值的计算复杂性从指数级降低到多项式水平。

联合学习(FL)的质量与参与者的数量和质量密切相关。设计适当的贡献评估机制至关重要。基于夏普利值(SV)的技术已被广泛用于提供公平的贡献评估。然而,现有的方法不支持动态参与者(如加入和离开),而且会产生大量计算成本,因此很难在实践中应用。更糟的是,在非 IID 数据情况下,参与者可能会被错误地评估为负贡献,从而进一步损害公平性。在这项工作中,我们提出了 FairFed 来应对上述挑战。首先,考虑到每次迭代都同等重要,FairFed FL 视为多个单阶段合作博弈,并按每次迭代对参与者进行评估,从而有效地应对动态参与者并确保迭代间的公平性。其次,我们引入了合作夏普利值(CSV)来修正参与者的负值,以提高公平性,同时保留真正的负值。第三,我们证明了如果参与者在战略上是等价的,那么参与者组合的数量可以从指数级锐减到多项式级,从而大大降低 CSV 的计算复杂度。实验结果表明,与两种最先进的近似方法相比,FairFed 的计算速度提高了 25.3 倍,偏差减少了三个数量级。

时间:6181400

地点:1号学院楼240


Baidu
sogou