목록OSR (7)

Federated Learning

[ICLR 2023] FedOV - (3)

논문 제목: Towards Addressing Label Skews in One-Shot Federated Learning 출처: https://openreview.net/forum?id=rzrqh85f4Sc 지난 포스트에서 추가적인 outlier generation methods인 DD와 AOE에 관하여 알아보았습니다. (이전 글 보기) 이번 포스트에서는 해당 paper의 experiments를 살펴보도록 하겠습니다. 앞서 언급하였듯이 모든 실험 결과를 다루기는 어려우므로, 추가적으로 궁금하신 사항이 있을 경우 paper를 참고해주시기 바랍니다. 9. Experiments (1) Settings 사용된 dataset은 위의 표와 같습니다. 별도의 언급이 없는 한 총 10개의 client가 학습 과정에서..
Federated Learning/Papers 2023. 4. 1. 23:00
[ICLR 2023] FedOV - (2)

논문 제목: Towards Addressing Label Skews in One-Shot Federated Learning 출처: https://openreview.net/forum?id=rzrqh85f4Sc 지난 포스트에서 저자들이 어떠한 이유로 FL에 OSR을 적용하려고 하였는지 확인하였습니다. (이전 글 보기) 이번 포스트에서는 PROSER를 FL에 implement하는 과정에서 생긴 문제점을 어떻게 해결하고자 하였는지 알아보도록 하겠습니다. 5. Data Destruction (DD) 앞서 살펴보았듯이, PROSER의 Manifold Mixup을 FL setting에서 그대로 사용할 경우 문제가 발생할 소지가 있습니다. 각 device가 가지고 있는 data 수도 많지 않을뿐더러, device별로..
Federated Learning/Papers 2023. 3. 14. 01:00
[ICLR 2023] FedOV - (1)

논문 제목: Towards Addressing Label Skews in One-Shot Federated Learning 출처: https://openreview.net/forum?id=rzrqh85f4Sc 이번 포스트에서는 FL에 OSR을 적용하려고 시도한 paper에 관하여 알아볼 계획입니다. 앞서 괜히 PROSER를 정리한 것이 아니기 때문에, 만약 OSR을 처음 접하신다면 이전 포스트를 참고해주시기 바랍니다. (이전 글 보기) 1. One-Shot FL 해당 paper는 one-shot setting을 가정하였는데, FL에서 one-shot은 1회의 communication round만에 학습을 끝내는 것을 의미합니다. 이러한 setting을 고려하는 이유는 크게 두 가지가 있는데, 하나는 "c..
Federated Learning/Papers 2023. 3. 12. 16:00
[CVPR 2021] PROSER - (4)

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 지난 포스트를 끝으로 PROSER에 관한 설명을 마쳤습니다. (이전 글 보기) 이번 포스트에서는 experiments를 살펴보겠습니다. 7. Experiments (1) Openness의 정의 저자들마다 Openess의 정의가 조금씩 다른데, 해당 paper에서는 다음과 같이 정의합니다: $$Openness := 1 - \sqrt{\frac {N_\text{train}} {N_\text{test}}} \in [0, 1]$$ 여기에서, $N_\text{train}$, $N_\text{test}$는 각각 train dataset과 test data..
Machine Learning/Out-of-Distribution Detection 2023. 3. 1. 22:00
[CVPR 2021] PROSER - (3)

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 지난 포스트에서 PROSER의 두 가지 요소인 Classifier Placeholder, Data Placeholder에 관하여 알아보았습니다. (이전 글 보기) 이번 포스트에서는 이 두 가지가 학습 과정에서 어떠한 역할을 하는지에 관하여 알아보도록 하겠습니다. 5. Placeholders의 역할 앞서 살펴 본 PROSER의 loss function은 다음과 같습니다: \begin{align*} \ell_{total} &:= \ell_1 + \gamma \ell_2 \\ \ell_1 &:= \sum_{(\textbf{x}, \ y) \ \in ..
Machine Learning/Out-of-Distribution Detection 2023. 2. 28. 01:30
[CVPR 2021] PROSER - (2)

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 지난 포스트에서 OSR의 등장 배경에 간략하게 알아본 후, 기존 OSR 방법들의 문제점을 짚어보았습니다. (이전 글 보기) 이번 포스트에서는 PROSER의 작동 원리에 대하여 알아보도록 하겠습니다. 2. Classifier Placeholder 앞서 정의한 대로 $f$를 $f(\textbf{x}) = W^T \phi (\textbf{x})$로 decompose하겠습니다. 저자들은 여기에 추가적인 classifier를 덧붙여서 새로운 hypothesis $\hat{f}$을 정의합니다. 즉, $\hat{f}(\textbf{x}) = [W^T \ph..
Machine Learning/Out-of-Distribution Detection 2023. 2. 25. 18:00
Prev 1 2 Next