Federated Learning

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 fairness에 관한 내용을 간단하게 다룬 후, 몇 가지 definition을 확인하였습니다. (이전 글 보기) 이번 포스트에서는 첫 번째 learning guarantee에 관하여 살펴보겠습니다. paper에 있는 증명은 생략된 부분이 매우 많습니다. 최대한 자세하게 풀어서 적고자 했으니, 참고 바랍니다. 5. Learning Guarantee - (1) $\text{Theorem 2}$ $M > 0$에 의하여 loss $l$이 bounded되어 있고, $\epsilon > 0$가 고정된 상황을 가정하자. $S_k \sim \mathcal{D}_k ^{m_k..

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 Agnostic FL의 기본적인 아이디어를 확인해보았습니다. (이전 글 보기) 이번 포스트에서는 Agnostic FL이 fairness에 어떻게 기여하는지 살펴볼 계획입니다. 그리고 이후의 내용을 전개하기 위한 몇 가지 정의도 함께 다루도록 하겠습니다. 3. Good-intent Fairness 지금부터 하는 이야기는, Agnostic FL의 방법론을 FL이 아닌 다른 분야(domain adaptation, crowdsourcing 등)에서도 적용하기 위하여 일반화하는 과정에 관한 것입니다. 따라서, 지금까지 client라고 불렀던 것들을 해당 파트에서는 cla..

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 이번 포스트부터는 fairness에 관한 내용을 살펴볼 예정입니다. FL의 특성 상 불특정 다수의 client가 학습에 관여하게 되는데, 이때 학습에 기여하는 정도는 각 client 별로 다를 것입니다. 예를 들어, straggler와 같이 환경적인 요인으로 인해 학습에 참여하지 못한 client가 생길 수도 있고, 혹시라도 개인정보가 유출될까봐 걱정되어 데이터 사용에 동의하지 않는 application 사용자도 있을 것입니다. 반대로, random하게 sampling을 진행하지만 우연히도 매 round마다 학습에 참여하게 된 client가 있을 수도 있고, 또 그중에는 학습을..

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이전 포스트까지 해서 FjORD의 모든 내용을 살펴보았습니다. (이전 글 보기) 이번 포스트에서는 experiments를 살펴보겠습니다. 자세한 세팅은 FjORD - (2)에서 설명하였으므로 생략합니다. 7. Experiments (1) Hyperparameters $D_{\mathcal{p}}$의 경우, $p \sim \mathcal{U}_5$와 $p \sim \mathcal{U}_{10}$을 사용하였습니다. 다음으로, Drop Scale(ds)는 $0.5$와 ..

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이전 포스트에서 설명한 OD에 기반하여, 이번 포스트에서는 FjORD에 관한 이야기를 해보겠습니다. (이전 글 보기) 5. FjORD FjORD 알고리즘은 OD를 FL에 적용한 것입니다. $t$기 학습에 참여할 Client들의 집합 $\mathcal{S_t}$가 결정되면, Server는 각 Client $i$ 가 가질 수 있는 최대의 $p$값, 즉, $p_{\max}^i$를 따르는 submodel $\textbf{F}_{p_{\max}^i}$를 Client에게 전..

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이전 포스트에서 OD에 관하여 간단하게 알아보았습니다. (이전 글 보기) 이번 포스트에서 조금 더 자세하게 이야기해보겠습니다. 4. Ordered Dropout의 정당성 직관적으로 OD가 어떠한 의미를 가지는지는 지난 포스트에서 확인하였습니다. 이와 더불어 $\text{Theorem 1}$은 OD가 수학적으로도 타당한 방법론이라는 것을 보장해줍니다. OD가 SVD와 동일한 역할을 수행한다는 것인데, 쉽게 말해서 pruned $p$-subnetwork $\textb..