목록머신러닝 (60)

Federated Learning

[NeurIPS 2021] FjORD - (3)

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이전 포스트에서 설명한 OD에 기반하여, 이번 포스트에서는 FjORD에 관한 이야기를 해보겠습니다. (이전 글 보기) 5. FjORD FjORD 알고리즘은 OD를 FL에 적용한 것입니다. $t$기 학습에 참여할 Client들의 집합 $\mathcal{S_t}$가 결정되면, Server는 각 Client $i$ 가 가질 수 있는 최대의 $p$값, 즉, $p_{\max}^i$를 따르는 submodel $\textbf{F}_{p_{\max}^i}$를 Client에게 전..
Federated Learning/Papers 2022. 9. 12. 16:30
[NeurIPS 2021] FjORD - (2)

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이전 포스트에서 OD에 관하여 간단하게 알아보았습니다. (이전 글 보기) 이번 포스트에서 조금 더 자세하게 이야기해보겠습니다. 4. Ordered Dropout의 정당성 직관적으로 OD가 어떠한 의미를 가지는지는 지난 포스트에서 확인하였습니다. 이와 더불어 $\text{Theorem 1}$은 OD가 수학적으로도 타당한 방법론이라는 것을 보장해줍니다. OD가 SVD와 동일한 역할을 수행한다는 것인데, 쉽게 말해서 pruned $p$-subnetwork $\textb..
Federated Learning/Papers 2022. 9. 9. 19:00
[NeurIPS 2021] FjORD - (1)

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이번 paper는 system heterogeniety에 관한 내용을 다루고 있습니다. 만약 특정 device의 computing power가 부족해서 학습이 매우 느리게 진행되거나 혹은 아예 model이 메모리에 올라가지 못 한다면, 이러한 device는 곧바로 straggler가 될 것입니다. 해당 논문은 device 별로 model의 size를 조절하여 이 문제를 해결하고자 하였는데, 과연 어떠한 idea를 활용하였는지 지금부터 살펴보겠습니다. 1. 연구 배..
Federated Learning/Papers 2022. 9. 7. 12:00
[AAAI 2022] SplitFed - (3)

논문 제목: SplitFed: When Federated Learning Meets Split Learning 출처: https://arxiv.org/abs/2004.12088 지난 포스트에서 우리는 SFLV1과 SFLV2에 관해서 이야기하였는데, 여기에 사용된 Privacy Preserving method들에 관해서는 별도의 언급을 하지 않았습니다. (이전 글 보기) 이와 관련된 내용을 한 번에 다루기에는 그 양이 너무 많아서 별도의 paper review를 작성할 예정이며, 이번 포스트에서는 해당 논문의 experiments를 바로 살펴보도록 하겠습니다. (현재, calibrated noise와 관한 이야기는 여기에서 확인할 수 있습니다.) 5. Experiments 들어가기에 앞서, 주의하여야 할 ..
Federated Learning/Papers 2022. 9. 5. 16:00
[AAAI 2022] SplitFed - (2)

논문 제목: SplitFed: When Federated Learning Meets Split Learning 출처: https://arxiv.org/abs/2004.12088 지난 포스트에서 Split Learning이 무엇인지, 그리고 SL과 FL이 어떻게 다른지 확인한 후, 이 둘을 결합한 SplitFed(SFL)에 관해서 알아보았습니다. (이전 글 보기) 이번 포스트에서는 저자들이 제안하는 SFL의 유형 두 가지에 관해서 이야기해보겠습니다. 3. SFLV1, SFLV2 SFL의 pseudo code는 위와 같습니다. (여기에서 윗첨자 $\text{C}$는 Client, $\text{S}$는 Server를 의미합니다.) 이전 포스트에서 언급한 것과 거의 동일한 방식으로 진행되는 것을 알 수 있는데,..
Federated Learning/Papers 2022. 9. 3. 04:00
[AAAI 2022] SplitFed - (1)

논문 제목: SplitFed: When Federated Learning Meets Split Learning 출처: https://arxiv.org/abs/2004.12088 이번에 가져온 논문은, 이전까지 제가 잘 다루지 않던 privacy preserving에 관한 내용을 담고 있습니다. accepted된 지 얼마 되지 않은 최신 논문인 만큼, 기존에 등장하였던 다양한 방법론들이 적용된 알고리즘을 제시하고 있습니다. 특히, 그중에서도 Split Learning(SL)이라는 개념은 Federated Learning 이후에 제시된, 비교적 최신의 분산학습 체계입니다. 서로 다른 두 분산학습 방식인 SL과 FL을 엮은 해당 논문이 과연 어떠한 novelty를 가지고 있을지 확인해보도록 하겠습니다. 1. ..
Federated Learning/Papers 2022. 8. 31. 15:00
Prev 1 ··· 4 5 6 7 8 9 10 Next