목록머신러닝 (60)

Federated Learning

[CVPR 2018] Evidential Deep Learning - (1)

논문 제목: Evidential Deep Learning to Quantify Classification Uncertainty 출처: https://arxiv.org/abs/1806.01768 지난 포스트에서 OSR 기법 중 한 가지인 PROSER를 다루면서, overconfidence에 관하여 잠시 언급하였습니다. (이전 글 보기) 이번 포스트에서는 Bayesian의 관점을 한 번 다루어보려고 합니다. Bayesian들은 overconfidence 문제를 어떻게 해결하고자 하였는지, 그리고 이들은 model에게 아는 것과 모르는 것을 올바르게 구분하도록 어떻게 유도하였는지 확인해보도록 하겠습니다. 1. Softmax Classifier가 문제다? $\theta$를 parameter로 가지고 있는 neu..
Machine Learning/Out-of-Distribution Detection 2023. 4. 29. 01:30
[Tips] $\LaTeX$, Markdown 등으로 표 작성하기

$\LaTeX$을 사용하다 보면, 실험 결과 등을 표로 작성해야 하는 일이 있습니다. 하지만 Markdown에 익숙한 저는 $\LaTeX$으로 표를 작성하는 것이 다소 불편하였고, 좋은 방법이 없을까 고민하던 중 아래와 같은 사이트를 발견하였습니다. 사이트: https://www.tablesgenerator.com/ $\LaTeX$뿐만 아니라, Markdown, HTML 등으로 작성한 결과를 반환해주는 사이트입니다. 자잘한 오류가 존재하기는 하나, 자체 포맷으로 저장할 수 있다는 이점도 있으며, 한 번 작성한 것을 다양한 포맷으로 변환할 수 있다는 점에서도 유용하게 사용할 수 있을 듯합니다. 또한, csv 파일 혹은 $\TeX$ 파일로부터 표를 불러오는 것도 가능합니다.
Tips 2023. 4. 4. 20:00
[ICLR 2023] FedOV - (3)

논문 제목: Towards Addressing Label Skews in One-Shot Federated Learning 출처: https://openreview.net/forum?id=rzrqh85f4Sc 지난 포스트에서 추가적인 outlier generation methods인 DD와 AOE에 관하여 알아보았습니다. (이전 글 보기) 이번 포스트에서는 해당 paper의 experiments를 살펴보도록 하겠습니다. 앞서 언급하였듯이 모든 실험 결과를 다루기는 어려우므로, 추가적으로 궁금하신 사항이 있을 경우 paper를 참고해주시기 바랍니다. 9. Experiments (1) Settings 사용된 dataset은 위의 표와 같습니다. 별도의 언급이 없는 한 총 10개의 client가 학습 과정에서..
Federated Learning/Papers 2023. 4. 1. 23:00
[ICLR 2023] FedOV - (2)

논문 제목: Towards Addressing Label Skews in One-Shot Federated Learning 출처: https://openreview.net/forum?id=rzrqh85f4Sc 지난 포스트에서 저자들이 어떠한 이유로 FL에 OSR을 적용하려고 하였는지 확인하였습니다. (이전 글 보기) 이번 포스트에서는 PROSER를 FL에 implement하는 과정에서 생긴 문제점을 어떻게 해결하고자 하였는지 알아보도록 하겠습니다. 5. Data Destruction (DD) 앞서 살펴보았듯이, PROSER의 Manifold Mixup을 FL setting에서 그대로 사용할 경우 문제가 발생할 소지가 있습니다. 각 device가 가지고 있는 data 수도 많지 않을뿐더러, device별로..
Federated Learning/Papers 2023. 3. 14. 01:00
[ICLR 2023] FedOV - (1)

논문 제목: Towards Addressing Label Skews in One-Shot Federated Learning 출처: https://openreview.net/forum?id=rzrqh85f4Sc 이번 포스트에서는 FL에 OSR을 적용하려고 시도한 paper에 관하여 알아볼 계획입니다. 앞서 괜히 PROSER를 정리한 것이 아니기 때문에, 만약 OSR을 처음 접하신다면 이전 포스트를 참고해주시기 바랍니다. (이전 글 보기) 1. One-Shot FL 해당 paper는 one-shot setting을 가정하였는데, FL에서 one-shot은 1회의 communication round만에 학습을 끝내는 것을 의미합니다. 이러한 setting을 고려하는 이유는 크게 두 가지가 있는데, 하나는 "c..
Federated Learning/Papers 2023. 3. 12. 16:00
[CVPR 2021] PROSER - (4)

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 지난 포스트를 끝으로 PROSER에 관한 설명을 마쳤습니다. (이전 글 보기) 이번 포스트에서는 experiments를 살펴보겠습니다. 7. Experiments (1) Openness의 정의 저자들마다 Openess의 정의가 조금씩 다른데, 해당 paper에서는 다음과 같이 정의합니다: $$Openness := 1 - \sqrt{\frac {N_\text{train}} {N_\text{test}}} \in [0, 1]$$ 여기에서, $N_\text{train}$, $N_\text{test}$는 각각 train dataset과 test data..
Machine Learning/Out-of-Distribution Detection 2023. 3. 1. 22:00
Prev 1 2 3 4 ··· 10 Next