목록Agnostic FL (7)

Federated Learning

[ICML 2019] Agnostic FL - (7)

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트를 끝으로 알고리즘에 대한 설명을 마쳤습니다. (이전 글 보기) 이번 포스트에서는 실험 결과를 살펴보도록 하겠습니다. 10. Experiments (1) Adult Dataset (Tabular Data) Adult Dataset에는 총 32,561개의 data가 존재하는데, 각 data는 1명의 사람에 해당합니다. 이 dataset을 이용하여 연간 소득이 $50,000를 초과하는지에 관한 binary classification을 수행할 것인데, 이때에 박사학위 소지 여부를 기준으로 2개의 domain을 구성할 것입니다. (즉, 이는 FL에서 총 client의 수가 ..
Federated Learning/Papers 2022. 11. 18. 00:30
[ICML 2019] Agnostic FL - (6)

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 $\text{STOCHASTIC-AFL}$ 알고리즘의 convergence를 증명하였습니다. (이전 글 보기) convergence의 bound가 $\sigma_w^2$와 $\sigma_\lambda^2$에 dependent하다는 것을 확인하였는데, 이번 포스트에서는 이 부분에 관하여 조금 더 자세하게 알아보겠습니다. 9. Stochastic Gradients 앞서 정의한 바에 따르면, 임의의 $w \in \mathcal{W}$, $\lambda \in \Lambda$, $k \in [p]$에 대하여, 우리의 objective function $L (w, \la..
Federated Learning/Papers 2022. 11. 17. 01:00
[ICML 2019] Agnostic FL - (5)

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트까지 해서 learning guarantee에 관한 내용은 모두 마쳤고, 이번 포스트부터는 objective function의 optimization에 관한 내용을 다루려고 합니다. (이전 글 보기) 지난 포스트의 마지막 부분에서 밝혔듯이, 앞으로는 objective function이 convex하다고 가정합니다. 또한, $\mathcal{L}_{\mathcal{\overline{D}}_\lambda} (h) = \mathcal{L}_{\mathcal{\overline{D}}_{\text{conv} (\lambda)}} (h)$임 고려하여 앞으로는 $\Lambda$가..
Federated Learning/Papers 2022. 11. 14. 13:30
[ICML 2019] Agnostic FL - (4)

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 weighted Rademacher complexity에 기반한 Agnostic FL의 learning guarantee를 확인하였습니다. (이전 글 보기) 이번 포스트에서는 해당 guarantee를 VC-dimension의 관점에서 다시 확인해본 후, Agnostic FL의 learning guarantee가 기존의 general bound와 어떠한 차이점을 보이는지에 관해서 알아보도록 하겠습니다. 5. Learning Guarantee - (2) $\text{Lemma 3}$ $\ell$이 $-1$ 혹은 $1$의 값만 가지는 loss function이고, 이..
Federated Learning/Papers 2022. 11. 8. 12:00
[ICML 2019] Agnostic FL - (3)

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 fairness에 관한 내용을 간단하게 다룬 후, 몇 가지 definition을 확인하였습니다. (이전 글 보기) 이번 포스트에서는 첫 번째 learning guarantee에 관하여 살펴보겠습니다. paper에 있는 증명은 생략된 부분이 매우 많습니다. 최대한 자세하게 풀어서 적고자 했으니, 참고 바랍니다. 5. Learning Guarantee - (1) $\text{Theorem 2}$ $M > 0$에 의하여 loss $l$이 bounded되어 있고, $\epsilon > 0$가 고정된 상황을 가정하자. $S_k \sim \mathcal{D}_k ^{m_k..
Federated Learning/Papers 2022. 11. 7. 01:00
[ICML 2019] Agnostic FL - (2)

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 Agnostic FL의 기본적인 아이디어를 확인해보았습니다. (이전 글 보기) 이번 포스트에서는 Agnostic FL이 fairness에 어떻게 기여하는지 살펴볼 계획입니다. 그리고 이후의 내용을 전개하기 위한 몇 가지 정의도 함께 다루도록 하겠습니다. 3. Good-intent Fairness 지금부터 하는 이야기는, Agnostic FL의 방법론을 FL이 아닌 다른 분야(domain adaptation, crowdsourcing 등)에서도 적용하기 위하여 일반화하는 과정에 관한 것입니다. 따라서, 지금까지 client라고 불렀던 것들을 해당 파트에서는 cla..
Federated Learning/Papers 2022. 11. 5. 04:00
Prev 1 2 Next