Federated Learning

논문 제목: SplitFed: When Federated Learning Meets Split Learning 출처: https://arxiv.org/abs/2004.12088 지난 포스트에서 우리는 SFLV1과 SFLV2에 관해서 이야기하였는데, 여기에 사용된 Privacy Preserving method들에 관해서는 별도의 언급을 하지 않았습니다. (이전 글 보기) 이와 관련된 내용을 한 번에 다루기에는 그 양이 너무 많아서 별도의 paper review를 작성할 예정이며, 이번 포스트에서는 해당 논문의 experiments를 바로 살펴보도록 하겠습니다. (현재, calibrated noise와 관한 이야기는 여기에서 확인할 수 있습니다.) 5. Experiments 들어가기에 앞서, 주의하여야 할 ..

논문 제목: SplitFed: When Federated Learning Meets Split Learning 출처: https://arxiv.org/abs/2004.12088 지난 포스트에서 Split Learning이 무엇인지, 그리고 SL과 FL이 어떻게 다른지 확인한 후, 이 둘을 결합한 SplitFed(SFL)에 관해서 알아보았습니다. (이전 글 보기) 이번 포스트에서는 저자들이 제안하는 SFL의 유형 두 가지에 관해서 이야기해보겠습니다. 3. SFLV1, SFLV2 SFL의 pseudo code는 위와 같습니다. (여기에서 윗첨자 $\text{C}$는 Client, $\text{S}$는 Server를 의미합니다.) 이전 포스트에서 언급한 것과 거의 동일한 방식으로 진행되는 것을 알 수 있는데,..

논문 제목: SplitFed: When Federated Learning Meets Split Learning 출처: https://arxiv.org/abs/2004.12088 이번에 가져온 논문은, 이전까지 제가 잘 다루지 않던 privacy preserving에 관한 내용을 담고 있습니다. accepted된 지 얼마 되지 않은 최신 논문인 만큼, 기존에 등장하였던 다양한 방법론들이 적용된 알고리즘을 제시하고 있습니다. 특히, 그중에서도 Split Learning(SL)이라는 개념은 Federated Learning 이후에 제시된, 비교적 최신의 분산학습 체계입니다. 서로 다른 두 분산학습 방식인 SL과 FL을 엮은 해당 논문이 과연 어떠한 novelty를 가지고 있을지 확인해보도록 하겠습니다. 1. ..

논문 제목: On the Convergence of FedAvg on Non-IID Data 출처: https://arxiv.org/abs/1907.02189 이번 포스트에서는 해당 paper의 또 다른 topic인 decaying learning rate에 관하여 이야기할 계획입니다. (이전 글 보기) 만약 $E = 1$이고 full batch를 사용하는 상황이라면, 이는 곧 full batch GD와 동일하다는 것을 FedAvg 논문에서 이미 확인한 바 있습니다. 그리고 full batch GD에서는 굳이 learning rate를 decay할 필요가 없다는 것은 익히 알려진 사실입니다. 하지만 저자들은 $E > 1$일 때에는 full batch GD를 사용하더라도 반드시 learning rate를 ..

논문 제목: On the Convergence of FedAvg on Non-IID Data 출처: https://arxiv.org/abs/1907.02189 이번 포스트에서는 hyperparameter $K$와 $E$에 관한 이야기를 다룬 후, experiments를 살펴 볼 계획입니다. (이전 글 보기) 9. Hyperparameter $E$ 정하기 $\text{Theorem 2, 3}$에서 확인하였듯이, partial device participation에서의 FedAvg는 다음을 만족합니다. $$\mathbb{E} [F (W_T)] - F^* \leq \frac {\kappa} {\gamma + T - 1} \left( \frac {2(B+C)} {\mu} + \frac {\mu \gamma} {..

논문 제목: On the Convergence of FedAvg on Non-IID Data 출처: https://arxiv.org/abs/1907.02189 지난 포스트에 이어서 partial device participation case의 convergence를 증명하도록 하겠습니다. (이전 글 보기) $C$ term만 다르기 때문에, $\text{Scheme I}$과 $\text{II}$ 구분 없이 동시에 증명합니다. 7. Partial Device Participation Case $\text{Theorem 2}$ $\text{Assumtion 1 ~ 4}$가 성립하고, $\text{Scheme I}$을 사용한다고 가정하자. (즉, $\text{Assumption 5}$가 성립한다고 가정하자.) ..