Federated Learning

논문 제목: Communication-Efficient Learning of Deep Networks from Decentralized Data 출처: https://arxiv.org/abs/1602.05629 이전 포스트에서, 우리는 연합학습의 근본이 되는 FedSGD와 FedAvg에 관해서 알아보았습니다. (이전 글 보기) 이번에는 해당 논문의 experiments를 분석하고, 논문의 의의 및 한계에 관해서 논의해보겠습니다. 3. Experiments 해당 논문의 experiments에서, 우리는 hyperparameter인 $C$, $E$, $B$를 어떻게 tuning하는 것이 좋을 것인지 주의 깊게 확인해야 합니다. tuning에 우선순위가 있는지, 어떠한 범위 내에서 hyperparameter를..

논문 제목: Communication-Efficient Learning of Deep Networks from Decentralized Data 출처: https://arxiv.org/abs/1602.05629 첫 paper review 포스트의 대상은 연합학습을 처음으로 언급한 논문인 『Communication-Efficient Learning of Deep Networks from Decentralized Data』입니다. 해당 논문에서 언급된 FedSGD, FedAvg 알고리즘은 지금도 연합학습 시스템의 baseline 알고리즘으로 계속해서 각종 논문에 등장하고 있습니다. 비록 나온 지 조금 지났지만, 근본적인 논문이기 때문에 영향력이 상당하여 안 짚고 넘어갈 수 없었습니다. (2017년에 논문이 ..