Federated Learning

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트를 끝으로 알고리즘에 대한 설명을 마쳤습니다. (이전 글 보기) 이번 포스트에서는 실험 결과를 살펴보도록 하겠습니다. 10. Experiments (1) Adult Dataset (Tabular Data) Adult Dataset에는 총 32,561개의 data가 존재하는데, 각 data는 1명의 사람에 해당합니다. 이 dataset을 이용하여 연간 소득이 $50,000를 초과하는지에 관한 binary classification을 수행할 것인데, 이때에 박사학위 소지 여부를 기준으로 2개의 domain을 구성할 것입니다. (즉, 이는 FL에서 총 client의 수가 ..

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 $\text{STOCHASTIC-AFL}$ 알고리즘의 convergence를 증명하였습니다. (이전 글 보기) convergence의 bound가 $\sigma_w^2$와 $\sigma_\lambda^2$에 dependent하다는 것을 확인하였는데, 이번 포스트에서는 이 부분에 관하여 조금 더 자세하게 알아보겠습니다. 9. Stochastic Gradients 앞서 정의한 바에 따르면, 임의의 $w \in \mathcal{W}$, $\lambda \in \Lambda$, $k \in [p]$에 대하여, 우리의 objective function $L (w, \la..

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트까지 해서 learning guarantee에 관한 내용은 모두 마쳤고, 이번 포스트부터는 objective function의 optimization에 관한 내용을 다루려고 합니다. (이전 글 보기) 지난 포스트의 마지막 부분에서 밝혔듯이, 앞으로는 objective function이 convex하다고 가정합니다. 또한, $\mathcal{L}_{\mathcal{\overline{D}}_\lambda} (h) = \mathcal{L}_{\mathcal{\overline{D}}_{\text{conv} (\lambda)}} (h)$임 고려하여 앞으로는 $\Lambda$가..