Federated Learning

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이전 포스트까지 해서 FjORD의 모든 내용을 살펴보았습니다. (이전 글 보기) 이번 포스트에서는 experiments를 살펴보겠습니다. 자세한 세팅은 FjORD - (2)에서 설명하였으므로 생략합니다. 7. Experiments (1) Hyperparameters $D_{\mathcal{p}}$의 경우, $p \sim \mathcal{U}_5$와 $p \sim \mathcal{U}_{10}$을 사용하였습니다. 다음으로, Drop Scale(ds)는 $0.5$와 ..

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이전 포스트에서 설명한 OD에 기반하여, 이번 포스트에서는 FjORD에 관한 이야기를 해보겠습니다. (이전 글 보기) 5. FjORD FjORD 알고리즘은 OD를 FL에 적용한 것입니다. $t$기 학습에 참여할 Client들의 집합 $\mathcal{S_t}$가 결정되면, Server는 각 Client $i$ 가 가질 수 있는 최대의 $p$값, 즉, $p_{\max}^i$를 따르는 submodel $\textbf{F}_{p_{\max}^i}$를 Client에게 전..

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이전 포스트에서 OD에 관하여 간단하게 알아보았습니다. (이전 글 보기) 이번 포스트에서 조금 더 자세하게 이야기해보겠습니다. 4. Ordered Dropout의 정당성 직관적으로 OD가 어떠한 의미를 가지는지는 지난 포스트에서 확인하였습니다. 이와 더불어 $\text{Theorem 1}$은 OD가 수학적으로도 타당한 방법론이라는 것을 보장해줍니다. OD가 SVD와 동일한 역할을 수행한다는 것인데, 쉽게 말해서 pruned $p$-subnetwork $\textb..

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이번 paper는 system heterogeniety에 관한 내용을 다루고 있습니다. 만약 특정 device의 computing power가 부족해서 학습이 매우 느리게 진행되거나 혹은 아예 model이 메모리에 올라가지 못 한다면, 이러한 device는 곧바로 straggler가 될 것입니다. 해당 논문은 device 별로 model의 size를 조절하여 이 문제를 해결하고자 하였는데, 과연 어떠한 idea를 활용하였는지 지금부터 살펴보겠습니다. 1. 연구 배..