Federated Learning

논문 제목: Federated Optimization in Heterogeneous Networks 출처: https://arxiv.org/abs/1812.06127 이전 포스트에서, 우리는 FedProx 알고리즘이 어떠한 방식으로 작동하는지 알아보았습니다. (이전 글 보기) 이번 포스트에서는 FedProx의 Convergence 증명 과정을 자세하게 확인해보겠습니다. 4. Bounded Dissimilarity 우선, 증명 과정에서 사용되는 assumption 한 가지를 확인하도록 하겠습니다. $\text{Definitnion 3}$ ($B$-local dissimilarity) $\mathbb{E} [||\nabla F_k(w)||^2] \leq ||\nabla f(w)||^2 B^2$를 만족하는 l..

논문 제목: Federated Optimization in Heterogeneous Networks 출처: https://arxiv.org/abs/1812.06127 지난 포스트에서, 우리는 연합학습의 시초라고 이야기할 수 있는 FedSGD, FedAvg에 관하여 알아보았습니다. (이전 글 보기) 처음 제안하는 알고리즘이기 때문에 다소 미흡한 부분도 존재한다는 점을 포스트 말미에 잠시 언급하였는데, 두 번째 paper review에서는 그중 한 가지를 해결하고자 노력한 FedProx 알고리즘에 관하여 알아보려고 합니다. 1. 연구 배경 FedSGD, FedAvg의 ablation study를 자세히 보면, model이 어느 정도 수렴하는 것 같다면, 마치 learning rate를 decay하는 것처럼 ..

논문 제목: Communication-Efficient Learning of Deep Networks from Decentralized Data 출처: https://arxiv.org/abs/1602.05629 이전 포스트에서, 우리는 연합학습의 근본이 되는 FedSGD와 FedAvg에 관해서 알아보았습니다. (이전 글 보기) 이번에는 해당 논문의 experiments를 분석하고, 논문의 의의 및 한계에 관해서 논의해보겠습니다. 3. Experiments 해당 논문의 experiments에서, 우리는 hyperparameter인 $C$, $E$, $B$를 어떻게 tuning하는 것이 좋을 것인지 주의 깊게 확인해야 합니다. tuning에 우선순위가 있는지, 어떠한 범위 내에서 hyperparameter를..

논문 제목: Communication-Efficient Learning of Deep Networks from Decentralized Data 출처: https://arxiv.org/abs/1602.05629 첫 paper review 포스트의 대상은 연합학습을 처음으로 언급한 논문인 『Communication-Efficient Learning of Deep Networks from Decentralized Data』입니다. 해당 논문에서 언급된 FedSGD, FedAvg 알고리즘은 지금도 연합학습 시스템의 baseline 알고리즘으로 계속해서 각종 논문에 등장하고 있습니다. 비록 나온 지 조금 지났지만, 근본적인 논문이기 때문에 영향력이 상당하여 안 짚고 넘어갈 수 없었습니다. (2017년에 논문이 ..

이번 시간에는 연합학습의 또 다른 구분인 Horizontal Federated Learning과 Vertical Federated Learning에 관해서 알아보고, 이전 시간에 살펴 본 Cross-Silo FL, Cross-Device FL과 어떠한 관련이 있는지에 관해서도 살펴보겠습니다. (이전 글 보기) 1. Horizontal Federated Learning과 Vertical Federated Learning 오른쪽의 도식이 앞서 언급한 두 가지를 잘 설명해줍니다. [1] 여기에서 label은 data sample에 관한 ID 정보이며, A, B의 두 client 로부터 model 학습을 진행하는 상황을 가정하겠습니다. 우선, (a) 그림은 Horizontal FL(혹은 Horizontal Pa..

앞서, 우리는 연합학습을 정의하고, 연합학습과 분산학습 간의 차이에 관하여 확인해보았습니다. (이전 글 보기) 오늘은 연합학습의 두 갈래에 관하여 확인해보고, 각 체계가 가지는 추가적인 문제점에 관하여 알아보겠습니다. 1. Cross-Silo Federated Learning Silo란 "큰 규모의 저장소"를 의미합니다. 즉, 이름에서 알 수 있듯이, Cross-Silo FL은 각 device의 크기가 비교적 큰 경우에 적용하며, 보통 학습에 참여하는 client 수 역시 비교적 적은 편입니다. (정확한 정의는 없는데, 대체적으로 최대 100개 ~ 10000개까지를 Silo로 보는 경향이 있습니다.) 또한, 명확하게 어떠한 client가 학습에 참여하는지 확인 가능(addressible)하며, 특수한 사..