목록머신러닝 (60)

Federated Learning

[AISTATS 2017] FedSGD, FedAvg - (2)

논문 제목: Communication-Efficient Learning of Deep Networks from Decentralized Data 출처: https://arxiv.org/abs/1602.05629 이전 포스트에서, 우리는 연합학습의 근본이 되는 FedSGD와 FedAvg에 관해서 알아보았습니다. (이전 글 보기) 이번에는 해당 논문의 experiments를 분석하고, 논문의 의의 및 한계에 관해서 논의해보겠습니다. 3. Experiments 해당 논문의 experiments에서, 우리는 hyperparameter인 $C$, $E$, $B$를 어떻게 tuning하는 것이 좋을 것인지 주의 깊게 확인해야 합니다. tuning에 우선순위가 있는지, 어떠한 범위 내에서 hyperparameter를..
Federated Learning/Papers 2022. 7. 16. 23:45
[AISTATS 2017] FedSGD, FedAvg - (1)

논문 제목: Communication-Efficient Learning of Deep Networks from Decentralized Data 출처: https://arxiv.org/abs/1602.05629 첫 paper review 포스트의 대상은 연합학습을 처음으로 언급한 논문인 『Communication-Efficient Learning of Deep Networks from Decentralized Data』입니다. 해당 논문에서 언급된 FedSGD, FedAvg 알고리즘은 지금도 연합학습 시스템의 baseline 알고리즘으로 계속해서 각종 논문에 등장하고 있습니다. 비록 나온 지 조금 지났지만, 근본적인 논문이기 때문에 영향력이 상당하여 안 짚고 넘어갈 수 없었습니다. (2017년에 논문이 ..
Federated Learning/Papers 2022. 7. 11. 23:00
3. Horizontal FL과 Vertical FL

이번 시간에는 연합학습의 또 다른 구분인 Horizontal Federated Learning과 Vertical Federated Learning에 관해서 알아보고, 이전 시간에 살펴 본 Cross-Silo FL, Cross-Device FL과 어떠한 관련이 있는지에 관해서도 살펴보겠습니다. (이전 글 보기) 1. Horizontal Federated Learning과 Vertical Federated Learning 오른쪽의 도식이 앞서 언급한 두 가지를 잘 설명해줍니다. [1] 여기에서 label은 data sample에 관한 ID 정보이며, A, B의 두 client 로부터 model 학습을 진행하는 상황을 가정하겠습니다. 우선, (a) 그림은 Horizontal FL(혹은 Horizontal Pa..
Federated Learning/Fundamentals 2022. 7. 8. 01:00
2. Cross-Silo FL과 Cross-Device FL

앞서, 우리는 연합학습을 정의하고, 연합학습과 분산학습 간의 차이에 관하여 확인해보았습니다. (이전 글 보기) 오늘은 연합학습의 두 갈래에 관하여 확인해보고, 각 체계가 가지는 추가적인 문제점에 관하여 알아보겠습니다. 1. Cross-Silo Federated Learning Silo란 "큰 규모의 저장소"를 의미합니다. 즉, 이름에서 알 수 있듯이, Cross-Silo FL은 각 device의 크기가 비교적 큰 경우에 적용하며, 보통 학습에 참여하는 client 수 역시 비교적 적은 편입니다. (정확한 정의는 없는데, 대체적으로 최대 100개 ~ 10000개까지를 Silo로 보는 경향이 있습니다.) 또한, 명확하게 어떠한 client가 학습에 참여하는지 확인 가능(addressible)하며, 특수한 사..
Federated Learning/Fundamentals 2022. 7. 5. 22:30
1. 분산학습과 연합학습

연합학습(Federated Learning, FL)을 처음 접하면 "그래서 그게 분산학습(Distributed Learning, DL)과 어떻게 다른 건데?"라는 생각을 할 수 있습니다. 이번 게시글에서는 우선적으로 연합학습을 정의할 것입니다. 그다음, 분산학습과 연합학습이 어떻게 다른지, 그리고 그 결과 연합학습에는 추가적으로 어떠한 해결해야 할 문제점이 존재하는지에 관해서 알아보겠습니다. 각각의 문제점에 대해서는 자세히 다루지 않을 것이며, 별도의 포스팅으로 이야기할 계획입니다. 우선, 사람들이 정의하는 연합학습이 무엇인지 한 번 확인해봅시다. We advocate an alternative that leaves the training data distributed on the mobile devic..
Federated Learning/Fundamentals 2022. 7. 3. 20:00
0. 참고자료

해당 게시글은 제가 Federated Learning을 공부할 때에 많이 참고하는 자료들을 정리한 것입니다. 타 분야에 비해 상당히 늦게 출발한 만큼, FL과 관련된 잘 다듬어진 교재 혹은 대학교 커리큘럼 등이 존재하지 않는 상황입니다. 따라서 논문에 절대적으로 의존하고 있는 것이 현실이며, 이는 처음 해당 분야를 공부하고자 하는 분들에게 어려움을 안겨주는 부분입니다. 아래 자료들이 조금이나마 도움이 되길 바라며, 저 역시도 앞으로 다양한 글들을 포스팅하여 여러분에게 크고 작은 도움을 드릴 수 있으면 좋겠습니다. (Last Update: 20220702) 1. Survey Paper - Advances and Open Problems in Federated Learning (https://arxiv.or..
Federated Learning/Fundamentals 2022. 7. 2. 22:15
Prev 1 ··· 7 8 9 10 Next