목록기계학습 (56)

Federated Learning

[CVPR 2018] Evidential Deep Learning - (1)

논문 제목: Evidential Deep Learning to Quantify Classification Uncertainty 출처: https://arxiv.org/abs/1806.01768 지난 포스트에서 OSR 기법 중 한 가지인 PROSER를 다루면서, overconfidence에 관하여 잠시 언급하였습니다. (이전 글 보기) 이번 포스트에서는 Bayesian의 관점을 한 번 다루어보려고 합니다. Bayesian들은 overconfidence 문제를 어떻게 해결하고자 하였는지, 그리고 이들은 model에게 아는 것과 모르는 것을 올바르게 구분하도록 어떻게 유도하였는지 확인해보도록 하겠습니다. 1. Softmax Classifier가 문제다? $\theta$를 parameter로 가지고 있는 neu..
Machine Learning/Out-of-Distribution Detection 2023. 4. 29. 01:30
[ICLR 2023] FedOV - (3)

논문 제목: Towards Addressing Label Skews in One-Shot Federated Learning 출처: https://openreview.net/forum?id=rzrqh85f4Sc 지난 포스트에서 추가적인 outlier generation methods인 DD와 AOE에 관하여 알아보았습니다. (이전 글 보기) 이번 포스트에서는 해당 paper의 experiments를 살펴보도록 하겠습니다. 앞서 언급하였듯이 모든 실험 결과를 다루기는 어려우므로, 추가적으로 궁금하신 사항이 있을 경우 paper를 참고해주시기 바랍니다. 9. Experiments (1) Settings 사용된 dataset은 위의 표와 같습니다. 별도의 언급이 없는 한 총 10개의 client가 학습 과정에서..
Federated Learning/Papers 2023. 4. 1. 23:00
[ICLR 2023] FedOV - (2)

논문 제목: Towards Addressing Label Skews in One-Shot Federated Learning 출처: https://openreview.net/forum?id=rzrqh85f4Sc 지난 포스트에서 저자들이 어떠한 이유로 FL에 OSR을 적용하려고 하였는지 확인하였습니다. (이전 글 보기) 이번 포스트에서는 PROSER를 FL에 implement하는 과정에서 생긴 문제점을 어떻게 해결하고자 하였는지 알아보도록 하겠습니다. 5. Data Destruction (DD) 앞서 살펴보았듯이, PROSER의 Manifold Mixup을 FL setting에서 그대로 사용할 경우 문제가 발생할 소지가 있습니다. 각 device가 가지고 있는 data 수도 많지 않을뿐더러, device별로..
Federated Learning/Papers 2023. 3. 14. 01:00
[ICLR 2023] FedOV - (1)

논문 제목: Towards Addressing Label Skews in One-Shot Federated Learning 출처: https://openreview.net/forum?id=rzrqh85f4Sc 이번 포스트에서는 FL에 OSR을 적용하려고 시도한 paper에 관하여 알아볼 계획입니다. 앞서 괜히 PROSER를 정리한 것이 아니기 때문에, 만약 OSR을 처음 접하신다면 이전 포스트를 참고해주시기 바랍니다. (이전 글 보기) 1. One-Shot FL 해당 paper는 one-shot setting을 가정하였는데, FL에서 one-shot은 1회의 communication round만에 학습을 끝내는 것을 의미합니다. 이러한 setting을 고려하는 이유는 크게 두 가지가 있는데, 하나는 "c..
Federated Learning/Papers 2023. 3. 12. 16:00
[CVPR 2021] PROSER - (4)

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 지난 포스트를 끝으로 PROSER에 관한 설명을 마쳤습니다. (이전 글 보기) 이번 포스트에서는 experiments를 살펴보겠습니다. 7. Experiments (1) Openness의 정의 저자들마다 Openess의 정의가 조금씩 다른데, 해당 paper에서는 다음과 같이 정의합니다: $$Openness := 1 - \sqrt{\frac {N_\text{train}} {N_\text{test}}} \in [0, 1]$$ 여기에서, $N_\text{train}$, $N_\text{test}$는 각각 train dataset과 test data..
Machine Learning/Out-of-Distribution Detection 2023. 3. 1. 22:00
[CVPR 2021] PROSER - (3)

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 지난 포스트에서 PROSER의 두 가지 요소인 Classifier Placeholder, Data Placeholder에 관하여 알아보았습니다. (이전 글 보기) 이번 포스트에서는 이 두 가지가 학습 과정에서 어떠한 역할을 하는지에 관하여 알아보도록 하겠습니다. 5. Placeholders의 역할 앞서 살펴 본 PROSER의 loss function은 다음과 같습니다: \begin{align*} \ell_{total} &:= \ell_1 + \gamma \ell_2 \\ \ell_1 &:= \sum_{(\textbf{x}, \ y) \ \in ..
Machine Learning/Out-of-Distribution Detection 2023. 2. 28. 01:30
Prev 1 2 3 4 ··· 10 Next