Federated Learning

논문 제목: Federated Optimization in Heterogeneous Networks 출처: https://arxiv.org/abs/1812.06127 이전 포스트에서 FedProx에 관한 증명은 모두 마쳤고, 추가적으로 hyperparameter $\mu$의 중요성에 대해서 확인해보았습니다. (이전 글 보기) 이번 포스트에서는 $\gamma_k^t$가 어떻게 정해지는지, 그리고 어떠한 역할을 하는지 확인한 후, 각종 ablation study를 살펴보도록 하겠습니다. 9. $\gamma_k^t$가 정해지는 과정과 $\gamma_k^t$의 역할 1회의 global update를 위해서 정해진 global clock이 존재한다고 가정해봅시다. (1시간, 30분 등) 이때, 해당 round에 ..

논문 제목: Federated Optimization in Heterogeneous Networks 출처: https://arxiv.org/abs/1812.06127 이전 포스트에서, 우리는 non-convex한 $F_k$에 관한 FedProx의 convergence를 증명하였습니다. (이전 글 보기) 이번 포스트에서는 FedProx의 convergence rate를 구해보고, convex case와 $\gamma$가 device 별로, 또 round 별로 달라지는 case에 관해서도 살펴볼 것입니다. 6. non-convex case의 convergence rate $\text{Theorem 6}$ (Convergence rate: FedProx) $\epsilon > 0$이 주어졌을 때, $B > B..

논문 제목: Federated Optimization in Heterogeneous Networks 출처: https://arxiv.org/abs/1812.06127 이전 포스트에서, 우리는 FedProx 알고리즘이 어떠한 방식으로 작동하는지 알아보았습니다. (이전 글 보기) 이번 포스트에서는 FedProx의 Convergence 증명 과정을 자세하게 확인해보겠습니다. 4. Bounded Dissimilarity 우선, 증명 과정에서 사용되는 assumption 한 가지를 확인하도록 하겠습니다. $\text{Definitnion 3}$ ($B$-local dissimilarity) $\mathbb{E} [||\nabla F_k(w)||^2] \leq ||\nabla f(w)||^2 B^2$를 만족하는 l..

논문 제목: Federated Optimization in Heterogeneous Networks 출처: https://arxiv.org/abs/1812.06127 지난 포스트에서, 우리는 연합학습의 시초라고 이야기할 수 있는 FedSGD, FedAvg에 관하여 알아보았습니다. (이전 글 보기) 처음 제안하는 알고리즘이기 때문에 다소 미흡한 부분도 존재한다는 점을 포스트 말미에 잠시 언급하였는데, 두 번째 paper review에서는 그중 한 가지를 해결하고자 노력한 FedProx 알고리즘에 관하여 알아보려고 합니다. 1. 연구 배경 FedSGD, FedAvg의 ablation study를 자세히 보면, model이 어느 정도 수렴하는 것 같다면, 마치 learning rate를 decay하는 것처럼 ..