写在开头

论文来源：https://doi.org/10.1016/j.cosrev.2023.100595. 论文标题：Asynchronous federated learning on heterogeneous devices: A survey

正文

AFL的诞生

FL算法的缺陷 1

  1. 设备不可靠性（意外脱机）。
  2. 聚合效率降低：延迟等待速度较慢的本地模型（设备异构性与数据分布不均匀）。
  3. 资源利用率低：由于算法的不完善，一些计算能力较强、资源较丰富且能够有效贡献于模型训练的设备（即胜任设备）可能很少被选中参与训练过程。
  4. 安全隐私漏洞。

AFL算法的改进

  1. 中央服务器在收到本地模型后 立即启动全局模型聚合 这意味着AFL可以忽略意外脱机的设备，因此减轻了对设备不可靠性的担忧。 而通过在聚合之前无需等待慢速设备上传本地模型，AFL则提高了聚合效率。
  2. 对于异构设备，AFL还允许具有不同运营效率的设备按照自己的节奏训练各自的本地模型，从而提高了异构设备之间计算资源的利用率。

AFL的相关论文

AFL 的主要障碍在于优化异构设备的资源利用率以提高训练效率。

节点选择

AFL 倾向于优先考虑具有更高弹性和计算能力的节点。 挑战：全局模型的稳健性与过拟合的矛盾。

  1. 根据本地计算和通信资源进行启发式贪婪节点选择，得到0-1背包问题 2
  2. 限制一起训练的设备数量,引入了具有加权平均机制的限制大小缓存，以减少模型过时的影响 [3]
  3. 基于计算能力和精度变化的优先节点选择功能，此处的优先级代表该节点被选中的相对概率 [4]。
  4. 根据每个节点的活动为其分配信任分数，完成任务获得奖励，未完成则降低信任值，任务分配基于资源要求和信任分数。[5]。
  5. 选择崩溃次数较少的节点，节点根据活动分配信任分数，完成任务获得奖励，未完成则降低信任值，任务分配基于资源要求和信任分数。 [6]。
  6. 随机调度，基于显著性调度(评估更新重要性)，基于频率调度，更新聚合策略包括 Equal Weight 聚合和 Age-Aware 聚合，结论是在非 IID 数据集上训练时，随机调度策略优于其他策略。此外，适当的年龄感知聚合策略性能更好。 [7]
  • 1与2的方法简单易用，可以提高聚合效率，但缺乏跨不同节点的非 IID 数据的sense。
  • 3的优先节点选择方法并没有考虑设备的设备不可靠性。
  • 4是3的优化
  • 5也是3的优化
  • 6相对全面

加权调度

在传统的联邦学习中，加权聚合旨在放大使用更多数据训练的局部模型的影响。 在 AFL 中，目标转向减轻陈旧本地模型的影响。 给定一个定义，过时性：设备的本地模型与全局模型之间的差异随时间增长的程度 下面的方法是考虑过时性的参数，减少过时本地模型的影响，并提高聚合过程中最新本地模型的影响。

  1. 引入基于 stale 的混合超参数，以平衡收敛速率和方差减少。在 CIFAR-10 和 WikiText-2 上进行的实验验证了快速收敛和陈旧容忍度。 [8]
  2. 提出了一种时间加权聚合策略，该策略在浅层和深层聚合时增加了最近更新的局部模型的权重。在 CNN 和 LSTM 神经网络上的实验结果表明，全局模型的准确性和收敛性都有所提高。[9]
  3. 基于时间的加权聚合算法,分配给更新的渐变的权重会随着过时值的增加而减少。 [10]
  4. 基于陈旧的缓存加权聚合算法。 [11]
  5. 具有类似效果的衰减系数。 [12] 1-5的方法只关注本地模型的过时性，这是一种片面的观点。
  6. 考虑了数据集的大小以及局部梯度和全局梯度之间的相似性。边缘设备提交的更新梯度将在 duel-weight 校正后聚合。[13]

除了设置更多加权聚合因子外，为了实现更精细的加权聚合，一个想法是聚合具有权重的模型中的分支。 全局模型将拆分为多个分支，并将聚合过程转换为分支加权合并过程。聚合权重会根据所有节点的训练精度动态调整，以防止全局模型过度拟合到频繁上传梯度的节点。为了评估所提出的方案的有效性，基于两个工业案例在异构设备上实现了一个原型： （1） 电机轴承的故障诊断和 （2） 变速箱的故障诊断。 实验结果表明，与传统的 CNN 模型相比，他们的方案收敛更快，精度更高，消耗的能量更少。[14]

梯度压缩

AFL 为梯度压缩带来了新的挑战，主要是在边缘和 IoT 设备的资源受限的计算环境中，以及更高的聚合操作频率。具体来说，节点之间计算能力的差异要显著得多。此外，由于聚合和压缩操作的频率增加，与传统 FL 相比，AFL 在服务器端产生的计算需求更大。

  1. 提出了两个子模块用于自适应阈值梯度压缩：（1） 自适应阈值计算和 （2） 梯度通信压缩。前者负责根据最近的参数变化计算阈值，而后者负责根据阈值压缩冗余梯度通信。
  2. 基于 Top-K AllReduce 稀疏压缩技术，提出了一种双端稀疏压缩算法.具体来说，压缩过程发生在服务器端和本地端，以降低传输成本。
  3. 提高通信效率的另一种方法是设计一种新的通信协议，以更有效地安排模型上传和下载。提出了三种考虑慢速节点的传输调度算法

半异步FL

在 AFL 中，在聚合过程中包含来自慢速节点的陈旧局部模型会在一定程度上降低全局模型的准确性。为了减轻这些慢速设备的影响，引入了半异步FL方案。通常，半异步 FL 作为一种混合方法，它结合了经典 FL 和 AFL 的元素，其中聚合服务器捕获并存储较早到达的本地模型，随后在特定时间范围内聚合它们。

  1. 未选中的节点上的本地模型在上传之前将被缓存多次迭代。
  2. 节点分为三类，其中可容忍的节点异步工作。
  3. 聚合服务器上的专用缓冲区。
  4. 聚合时间间隔取决于最慢的节点。
  5. 在时间窗口内接收的局部模型将被缓存。

  6. 服务器将本地模型存储在大小为 K 的缓冲区中。 ### 集群 FL 集群 FL 是一种旨在通过形成由表现出相似性能、功能或数据集的设备组成的集群来提高训练效率的方法。异步更新策略有可能为组内更新和/或组间更新带来优势。

  7. 节点分为较快的层和较慢的层。
  8. 根据梯度方向和延迟对节点进行分组的指标。
  9. 包括底部子网络和顶部子网络的级联训练方案。
  10. 节点根据数据分布和物理位置进行分组。

  11. 调整组之间的聚合频率。

模型拆分

在深度神经网络模型拆分之后，每个节点负责训练某个部分，而不是整个模型。因此，模型分割策略减少了需要传输的参数数量，从而提高了通信效率。将模型拆分策略集成到 AFL 中后，节点无需等待其他节点，并充分利用其计算资源来训练模型以进行后续轮次。因此，模型切分策略在一定程度上加快了全局模型的收敛。

  1. 浅层中的参数比深层中的参数更新得更频繁。
  2. 在 UAVs 上，浅层中的参数更新频率高于深层中的参数。
  3. 允许节点根据本地数据分布选择全局模型的分支。

数据异构性

节点之间存在非 IID 数据往往会导致 AFL 中的全局模型有偏差。为了解决这些非 IID 数据带来的问题，研究领域主要包括四种探索途径，包括聚合的约束项、聚类 FL、分布式验证策略和数学优化参数。

FL 内部隐私和安全问题的补救措施包括利用差分隐私和区块链等技术。由于 AFL 作为 FL 的变体运行，因此在跨异构设备训练模型时容易受到这些攻击。然而，当前解决隐私和安全问题的解决方案通常对计算要求很高，这使得它们在资源受限的异构设备和时间敏感的应用程序场景中部署不太可行。为了克服这些障碍，许多研究纷纷涌现，提出了灵活的差分隐私模型或为 AFL 量身定制的基于区块链的高效解决方案

差分隐私是各种 AFL 方案中采用的一种很有前途的方法，用于保护本地模型的隐私，从而降低异构设备上本地训练数据泄露的风险。

引用

[3]: Zhou C., Tian H., Zhang H., Zhang J., Dong M., Jia J.TEA-fed: time-efficient asynchronous federated learning for edge computing Proceedings of the 18th ACM International Conference on Computing Frontiers (2021), pp. 30-37 [4]: Hao J., Zhao Y., Zhang J.Time efficient federated learning with semi-asynchronous communication 2020 IEEE 26th International Conference on Parallel and Distributed Systems (ICPADS), IEEE (2020), pp. 156-163 [5]: Imteaj A., Amini M.H.Fedar: Activity and resource-aware federated learning model for distributed mobile robots 2020 19th IEEE International Conference on Machine Learning and Applications (ICMLA), IEEE (2020), pp. 1153-1160 [6]: Wu W., He L., Lin W., Mao R., Maple C., Jarvis S.SAFA: A semi-asynchronous protocol for fast federated learning with low overhead IEEE Trans. Comput., 70 (5) (2020), pp. 655-668 [7]: Hu C.-H., Chen Z., Larsson E.G. Scheduling and aggregation design for asynchronous federated learning over wireless networks IEEE J. Sel. Areas Commun., 41 (4) (2023), pp. 874-886, [8]: Xie C., Koyejo S., Gupta I. Asynchronous federated optimization (2019) arXiv preprint arXiv:1903.03934 https://doi.org/10.48550/arXiv.1903.03934 [9]: Chen Y., Sun X., Jin Y. Communication-efficient federated deep learning with layerwise asynchronous model update and temporally weighted aggregation IEEE Trans. Neural Netw. Learn. Syst., 31 (10) (2019), pp. 4229-4238 [10]: Shi G., Li L., Wang J., Chen W., Ye K., Xu C. HySync: Hybrid federated learning with effective synchronization 2020 IEEE 22nd International Conference on High Performance Computing and Communications; IEEE 18th International Conference on Smart City; IEEE 6th International Conference on Data Science and Systems (HPCC SmartCity/DSS), IEEE (2020), pp. 628-633 [11]: Zhou C., Tian H., Zhang H., Zhang J., Dong M., Jia J. TEA-fed: time-efficient asynchronous federated learning for edge computing Proceedings of the 18th ACM International Conference on Computing Frontiers (2021), pp. 30-37 [12]: Chen Y., Ning Y., Slawski M., Rangwala H. Asynchronous online federated learning for edge devices with non-iid data 2020 IEEE International Conference on Big Data (Big Data), IEEE (2020), pp. 15-24 [13]: Xiaofeng L., Yuying L., Lio P., Hui P. An asynchronous federated learning mechanism for edge network computing J. Comput. Res. Dev., 57 (12) (2020), p. 2571 [14]: Wang Q., Li Q., Wang K., Wang H., Zeng P. Efficient federated learning for fault diagnosis in industrial cloud-edge computing Computing (2021), pp. 1-19