Federated Learning

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 weighted Rademacher complexity에 기반한 Agnostic FL의 learning guarantee를 확인하였습니다. (이전 글 보기) 이번 포스트에서는 해당 guarantee를 VC-dimension의 관점에서 다시 확인해본 후, Agnostic FL의 learning guarantee가 기존의 general bound와 어떠한 차이점을 보이는지에 관해서 알아보도록 하겠습니다. 5. Learning Guarantee - (2) $\text{Lemma 3}$ $\ell$이 $-1$ 혹은 $1$의 값만 가지는 loss function이고, 이..

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 fairness에 관한 내용을 간단하게 다룬 후, 몇 가지 definition을 확인하였습니다. (이전 글 보기) 이번 포스트에서는 첫 번째 learning guarantee에 관하여 살펴보겠습니다. paper에 있는 증명은 생략된 부분이 매우 많습니다. 최대한 자세하게 풀어서 적고자 했으니, 참고 바랍니다. 5. Learning Guarantee - (1) $\text{Theorem 2}$ $M > 0$에 의하여 loss $l$이 bounded되어 있고, $\epsilon > 0$가 고정된 상황을 가정하자. $S_k \sim \mathcal{D}_k ^{m_k..

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 Agnostic FL의 기본적인 아이디어를 확인해보았습니다. (이전 글 보기) 이번 포스트에서는 Agnostic FL이 fairness에 어떻게 기여하는지 살펴볼 계획입니다. 그리고 이후의 내용을 전개하기 위한 몇 가지 정의도 함께 다루도록 하겠습니다. 3. Good-intent Fairness 지금부터 하는 이야기는, Agnostic FL의 방법론을 FL이 아닌 다른 분야(domain adaptation, crowdsourcing 등)에서도 적용하기 위하여 일반화하는 과정에 관한 것입니다. 따라서, 지금까지 client라고 불렀던 것들을 해당 파트에서는 cla..

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 이번 포스트부터는 fairness에 관한 내용을 살펴볼 예정입니다. FL의 특성 상 불특정 다수의 client가 학습에 관여하게 되는데, 이때 학습에 기여하는 정도는 각 client 별로 다를 것입니다. 예를 들어, straggler와 같이 환경적인 요인으로 인해 학습에 참여하지 못한 client가 생길 수도 있고, 혹시라도 개인정보가 유출될까봐 걱정되어 데이터 사용에 동의하지 않는 application 사용자도 있을 것입니다. 반대로, random하게 sampling을 진행하지만 우연히도 매 round마다 학습에 참여하게 된 client가 있을 수도 있고, 또 그중에는 학습을..

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이전 포스트까지 해서 FjORD의 모든 내용을 살펴보았습니다. (이전 글 보기) 이번 포스트에서는 experiments를 살펴보겠습니다. 자세한 세팅은 FjORD - (2)에서 설명하였으므로 생략합니다. 7. Experiments (1) Hyperparameters $D_{\mathcal{p}}$의 경우, $p \sim \mathcal{U}_5$와 $p \sim \mathcal{U}_{10}$을 사용하였습니다. 다음으로, Drop Scale(ds)는 $0.5$와 ..

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이전 포스트에서 설명한 OD에 기반하여, 이번 포스트에서는 FjORD에 관한 이야기를 해보겠습니다. (이전 글 보기) 5. FjORD FjORD 알고리즘은 OD를 FL에 적용한 것입니다. $t$기 학습에 참여할 Client들의 집합 $\mathcal{S_t}$가 결정되면, Server는 각 Client $i$ 가 가질 수 있는 최대의 $p$값, 즉, $p_{\max}^i$를 따르는 submodel $\textbf{F}_{p_{\max}^i}$를 Client에게 전..