Federated Learning

논문 제목: Evidential Deep Learning to Quantify Classification Uncertainty 출처: https://arxiv.org/abs/1806.01768 지난 포스트에서 OSR 기법 중 한 가지인 PROSER를 다루면서, overconfidence에 관하여 잠시 언급하였습니다. (이전 글 보기) 이번 포스트에서는 Bayesian의 관점을 한 번 다루어보려고 합니다. Bayesian들은 overconfidence 문제를 어떻게 해결하고자 하였는지, 그리고 이들은 model에게 아는 것과 모르는 것을 올바르게 구분하도록 어떻게 유도하였는지 확인해보도록 하겠습니다. 1. Softmax Classifier가 문제다? $\theta$를 parameter로 가지고 있는 neu..

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 지난 포스트를 끝으로 PROSER에 관한 설명을 마쳤습니다. (이전 글 보기) 이번 포스트에서는 experiments를 살펴보겠습니다. 7. Experiments (1) Openness의 정의 저자들마다 Openess의 정의가 조금씩 다른데, 해당 paper에서는 다음과 같이 정의합니다: $$Openness := 1 - \sqrt{\frac {N_\text{train}} {N_\text{test}}} \in [0, 1]$$ 여기에서, $N_\text{train}$, $N_\text{test}$는 각각 train dataset과 test data..

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 지난 포스트에서 PROSER의 두 가지 요소인 Classifier Placeholder, Data Placeholder에 관하여 알아보았습니다. (이전 글 보기) 이번 포스트에서는 이 두 가지가 학습 과정에서 어떠한 역할을 하는지에 관하여 알아보도록 하겠습니다. 5. Placeholders의 역할 앞서 살펴 본 PROSER의 loss function은 다음과 같습니다: \begin{align*} \ell_{total} &:= \ell_1 + \gamma \ell_2 \\ \ell_1 &:= \sum_{(\textbf{x}, \ y) \ \in ..

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 지난 포스트에서 OSR의 등장 배경에 간략하게 알아본 후, 기존 OSR 방법들의 문제점을 짚어보았습니다. (이전 글 보기) 이번 포스트에서는 PROSER의 작동 원리에 대하여 알아보도록 하겠습니다. 2. Classifier Placeholder 앞서 정의한 대로 $f$를 $f(\textbf{x}) = W^T \phi (\textbf{x})$로 decompose하겠습니다. 저자들은 여기에 추가적인 classifier를 덧붙여서 새로운 hypothesis $\hat{f}$을 정의합니다. 즉, $\hat{f}(\textbf{x}) = [W^T \ph..

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 이번 포스트에서는 Open Set Recognition(OSR) 기법 중 하나인 PROSER method에 관하여 알아보도록 하겠습니다. OSR을 블로그에서 처음 다루기 때문에, 우선 이에 대하여 간략히 언급하면서 시작하겠습니다. 0. Closed Set과 Open Set 여기에서 이야기하는 open, closed는 topology에서의 개념과 무관합니다. (단적으로, topology에서는 clopen이라는 개념이 존재하지만, 여기에서는 open과 closed는 서로 반대되는 개념입니다.) 어떠한 test dataset이 open되어 있다는 것..