목록Machine learning (60)

Federated Learning

[CVPR 2021] PROSER - (3)

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 지난 포스트에서 PROSER의 두 가지 요소인 Classifier Placeholder, Data Placeholder에 관하여 알아보았습니다. (이전 글 보기) 이번 포스트에서는 이 두 가지가 학습 과정에서 어떠한 역할을 하는지에 관하여 알아보도록 하겠습니다. 5. Placeholders의 역할 앞서 살펴 본 PROSER의 loss function은 다음과 같습니다: \begin{align*} \ell_{total} &:= \ell_1 + \gamma \ell_2 \\ \ell_1 &:= \sum_{(\textbf{x}, \ y) \ \in ..
Machine Learning/Out-of-Distribution Detection 2023. 2. 28. 01:30
[CVPR 2021] PROSER - (2)

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 지난 포스트에서 OSR의 등장 배경에 간략하게 알아본 후, 기존 OSR 방법들의 문제점을 짚어보았습니다. (이전 글 보기) 이번 포스트에서는 PROSER의 작동 원리에 대하여 알아보도록 하겠습니다. 2. Classifier Placeholder 앞서 정의한 대로 $f$를 $f(\textbf{x}) = W^T \phi (\textbf{x})$로 decompose하겠습니다. 저자들은 여기에 추가적인 classifier를 덧붙여서 새로운 hypothesis $\hat{f}$을 정의합니다. 즉, $\hat{f}(\textbf{x}) = [W^T \ph..
Machine Learning/Out-of-Distribution Detection 2023. 2. 25. 18:00
[CVPR 2021] PROSER - (1)

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 이번 포스트에서는 Open Set Recognition(OSR) 기법 중 하나인 PROSER method에 관하여 알아보도록 하겠습니다. OSR을 블로그에서 처음 다루기 때문에, 우선 이에 대하여 간략히 언급하면서 시작하겠습니다. 0. Closed Set과 Open Set 여기에서 이야기하는 open, closed는 topology에서의 개념과 무관합니다. (단적으로, topology에서는 clopen이라는 개념이 존재하지만, 여기에서는 open과 closed는 서로 반대되는 개념입니다.) 어떠한 test dataset이 open되어 있다는 것..
Machine Learning/Out-of-Distribution Detection 2023. 2. 17. 18:00
0. 참고자료

Algorithmic Game Theory에서의 방법론들을 Machine Learning에 적용하려고 하는 시도들은 예전부터 있어왔지만, Federated Learning의 경우 불특정 다수의 client가 참여한다는 특징 덕분에 이러한 접근이 더욱더 매력적인 선택지가 되었습니다. 저 역시 FL을 cooperative games의 일종으로 보고 있으며, 관련 연구를 수행하기 위하여 Game Theory 쪽의 배경지식을 쌓는 중입니다. (Last Update: 20230124) 1. 강의 자료 - UdeM Gauthier Gidel 교수님 강의 자료 (https://gauthiergidel.github.io/courses/game_theory_ML_2021.html) Game Theory의 관점에서 GAN..
Game Theory/Fundamentals 2023. 1. 24. 15:30
[FL-NeurIPS 2022] Data Maximization - (6)

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 지난 포스트까지는 각 client의 cost가 알려져 있는 상황을 가정하고 내용을 전개하였습니다. (이전 글 보기) 이번 포스트에서는 이러한 가정 없이, 즉, cost를 모르는 상황에서 data-maximizing mechanism을 찾는 방법에 관하여 알아보도록 하겠습니다. 7. Value Shaping Mechanism (Cost를 모르는 경우) 지금부터는 정보의 비대칭성이 존재합니다. 다시 말해, 각 client $i$는 본인의 cost $c_i$를 알고 있지만, server에서는 이를 알지 못하는 상황입니다...
Federated Learning/Papers 2023. 1. 24. 00:00
[FL-NeurIPS 2022] Data Maximization - (5)

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 지난 포스트에서 data-maximizing mechanism의 정의를 알아보고, 저자들이 제안하는 mechanism은 어떠한 방식으로 동작하는지 확인하였습니다. (이전 글 보기) 이번 포스트에서는 해당 mechanism이 data-maximizing하다는 것을 보이도록 하겠습니다. 5. Value Shaping Mechanism (Cost를 아는 경우) - 이어서 $\text{Theorem 4}$ [Cost가 알려져 있을 때의 Data Maximization] 임의의 $\epsilon > 0$에 대해서, mecha..
Federated Learning/Papers 2023. 1. 19. 00:00
Prev 1 2 3 4 5 ··· 10 Next