Federated Learning

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이전 포스트까지 해서 FjORD의 모든 내용을 살펴보았습니다. (이전 글 보기) 이번 포스트에서는 experiments를 살펴보겠습니다. 자세한 세팅은 FjORD - (2)에서 설명하였으므로 생략합니다. 7. Experiments (1) Hyperparameters $D_{\mathcal{p}}$의 경우, $p \sim \mathcal{U}_5$와 $p \sim \mathcal{U}_{10}$을 사용하였습니다. 다음으로, Drop Scale(ds)는 $0.5$와 ..

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이전 포스트에서 설명한 OD에 기반하여, 이번 포스트에서는 FjORD에 관한 이야기를 해보겠습니다. (이전 글 보기) 5. FjORD FjORD 알고리즘은 OD를 FL에 적용한 것입니다. $t$기 학습에 참여할 Client들의 집합 $\mathcal{S_t}$가 결정되면, Server는 각 Client $i$ 가 가질 수 있는 최대의 $p$값, 즉, $p_{\max}^i$를 따르는 submodel $\textbf{F}_{p_{\max}^i}$를 Client에게 전..