Federated Learning

이번 시간에는 연합학습의 또 다른 구분인 Horizontal Federated Learning과 Vertical Federated Learning에 관해서 알아보고, 이전 시간에 살펴 본 Cross-Silo FL, Cross-Device FL과 어떠한 관련이 있는지에 관해서도 살펴보겠습니다. (이전 글 보기) 1. Horizontal Federated Learning과 Vertical Federated Learning 오른쪽의 도식이 앞서 언급한 두 가지를 잘 설명해줍니다. [1] 여기에서 label은 data sample에 관한 ID 정보이며, A, B의 두 client 로부터 model 학습을 진행하는 상황을 가정하겠습니다. 우선, (a) 그림은 Horizontal FL(혹은 Horizontal Pa..

앞서, 우리는 연합학습을 정의하고, 연합학습과 분산학습 간의 차이에 관하여 확인해보았습니다. (이전 글 보기) 오늘은 연합학습의 두 갈래에 관하여 확인해보고, 각 체계가 가지는 추가적인 문제점에 관하여 알아보겠습니다. 1. Cross-Silo Federated Learning Silo란 "큰 규모의 저장소"를 의미합니다. 즉, 이름에서 알 수 있듯이, Cross-Silo FL은 각 device의 크기가 비교적 큰 경우에 적용하며, 보통 학습에 참여하는 client 수 역시 비교적 적은 편입니다. (정확한 정의는 없는데, 대체적으로 최대 100개 ~ 10000개까지를 Silo로 보는 경향이 있습니다.) 또한, 명확하게 어떠한 client가 학습에 참여하는지 확인 가능(addressible)하며, 특수한 사..

연합학습(Federated Learning, FL)을 처음 접하면 "그래서 그게 분산학습(Distributed Learning, DL)과 어떻게 다른 건데?"라는 생각을 할 수 있습니다. 이번 게시글에서는 우선적으로 연합학습을 정의할 것입니다. 그다음, 분산학습과 연합학습이 어떻게 다른지, 그리고 그 결과 연합학습에는 추가적으로 어떠한 해결해야 할 문제점이 존재하는지에 관해서 알아보겠습니다. 각각의 문제점에 대해서는 자세히 다루지 않을 것이며, 별도의 포스팅으로 이야기할 계획입니다. 우선, 사람들이 정의하는 연합학습이 무엇인지 한 번 확인해봅시다. We advocate an alternative that leaves the training data distributed on the mobile devic..

해당 게시글은 제가 Federated Learning을 공부할 때에 많이 참고하는 자료들을 정리한 것입니다. 타 분야에 비해 상당히 늦게 출발한 만큼, FL과 관련된 잘 다듬어진 교재 혹은 대학교 커리큘럼 등이 존재하지 않는 상황입니다. 따라서 논문에 절대적으로 의존하고 있는 것이 현실이며, 이는 처음 해당 분야를 공부하고자 하는 분들에게 어려움을 안겨주는 부분입니다. 아래 자료들이 조금이나마 도움이 되길 바라며, 저 역시도 앞으로 다양한 글들을 포스팅하여 여러분에게 크고 작은 도움을 드릴 수 있으면 좋겠습니다. (Last Update: 20220702) 1. Survey Paper - Advances and Open Problems in Federated Learning (https://arxiv.or..