Federated Learning

앞서, 우리는 연합학습을 정의하고, 연합학습과 분산학습 간의 차이에 관하여 확인해보았습니다. (이전 글 보기) 오늘은 연합학습의 두 갈래에 관하여 확인해보고, 각 체계가 가지는 추가적인 문제점에 관하여 알아보겠습니다. 1. Cross-Silo Federated Learning Silo란 "큰 규모의 저장소"를 의미합니다. 즉, 이름에서 알 수 있듯이, Cross-Silo FL은 각 device의 크기가 비교적 큰 경우에 적용하며, 보통 학습에 참여하는 client 수 역시 비교적 적은 편입니다. (정확한 정의는 없는데, 대체적으로 최대 100개 ~ 10000개까지를 Silo로 보는 경향이 있습니다.) 또한, 명확하게 어떠한 client가 학습에 참여하는지 확인 가능(addressible)하며, 특수한 사..

연합학습(Federated Learning, FL)을 처음 접하면 "그래서 그게 분산학습(Distributed Learning, DL)과 어떻게 다른 건데?"라는 생각을 할 수 있습니다. 이번 게시글에서는 우선적으로 연합학습을 정의할 것입니다. 그다음, 분산학습과 연합학습이 어떻게 다른지, 그리고 그 결과 연합학습에는 추가적으로 어떠한 해결해야 할 문제점이 존재하는지에 관해서 알아보겠습니다. 각각의 문제점에 대해서는 자세히 다루지 않을 것이며, 별도의 포스팅으로 이야기할 계획입니다. 우선, 사람들이 정의하는 연합학습이 무엇인지 한 번 확인해봅시다. We advocate an alternative that leaves the training data distributed on the mobile devic..