목록기계학습 (56)

Federated Learning

[CVPR 2021] PROSER - (2)

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 지난 포스트에서 OSR의 등장 배경에 간략하게 알아본 후, 기존 OSR 방법들의 문제점을 짚어보았습니다. (이전 글 보기) 이번 포스트에서는 PROSER의 작동 원리에 대하여 알아보도록 하겠습니다. 2. Classifier Placeholder 앞서 정의한 대로 $f$를 $f(\textbf{x}) = W^T \phi (\textbf{x})$로 decompose하겠습니다. 저자들은 여기에 추가적인 classifier를 덧붙여서 새로운 hypothesis $\hat{f}$을 정의합니다. 즉, $\hat{f}(\textbf{x}) = [W^T \ph..
Machine Learning/Out-of-Distribution Detection 2023. 2. 25. 18:00
[CVPR 2021] PROSER - (1)

논문 제목: Learning Placeholders for Open-Set Recognition 출처: https://arxiv.org/abs/2103.15086 이번 포스트에서는 Open Set Recognition(OSR) 기법 중 하나인 PROSER method에 관하여 알아보도록 하겠습니다. OSR을 블로그에서 처음 다루기 때문에, 우선 이에 대하여 간략히 언급하면서 시작하겠습니다. 0. Closed Set과 Open Set 여기에서 이야기하는 open, closed는 topology에서의 개념과 무관합니다. (단적으로, topology에서는 clopen이라는 개념이 존재하지만, 여기에서는 open과 closed는 서로 반대되는 개념입니다.) 어떠한 test dataset이 open되어 있다는 것..
Machine Learning/Out-of-Distribution Detection 2023. 2. 17. 18:00
[FL-NeurIPS 2022] Data Maximization - (6)

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 지난 포스트까지는 각 client의 cost가 알려져 있는 상황을 가정하고 내용을 전개하였습니다. (이전 글 보기) 이번 포스트에서는 이러한 가정 없이, 즉, cost를 모르는 상황에서 data-maximizing mechanism을 찾는 방법에 관하여 알아보도록 하겠습니다. 7. Value Shaping Mechanism (Cost를 모르는 경우) 지금부터는 정보의 비대칭성이 존재합니다. 다시 말해, 각 client $i$는 본인의 cost $c_i$를 알고 있지만, server에서는 이를 알지 못하는 상황입니다...
Federated Learning/Papers 2023. 1. 24. 00:00
[FL-NeurIPS 2022] Data Maximization - (5)

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 지난 포스트에서 data-maximizing mechanism의 정의를 알아보고, 저자들이 제안하는 mechanism은 어떠한 방식으로 동작하는지 확인하였습니다. (이전 글 보기) 이번 포스트에서는 해당 mechanism이 data-maximizing하다는 것을 보이도록 하겠습니다. 5. Value Shaping Mechanism (Cost를 아는 경우) - 이어서 $\text{Theorem 4}$ [Cost가 알려져 있을 때의 Data Maximization] 임의의 $\epsilon > 0$에 대해서, mecha..
Federated Learning/Papers 2023. 1. 19. 00:00
[FL-NeurIPS 2022] Data Maximization - (4)

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 지난 포스트에서 free-riding에 관한 이야기를 다루면서, standard federated learning mechanism은 free-riding을 막기 어렵다는 것을 확인하였습니다. (이전 글 보기) 이번 포스트에서는 free-riding을 방지할 수 있는 방안에 관하여 살펴보도록 하겠습니다. 5. Value Shaping Mechanism (Cost를 아는 경우) $\text{Definition C}$ [Data Maximization] 임의의 mechanism $\mathcal{M}$에 대하여, 해당 ..
Federated Learning/Papers 2023. 1. 14. 17:30
[FL-NeurIPS 2022] Data Maximization - (3)

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 지난 포스트에서 이상적인 FL mechanism이 만족해야 하는 조건에 관하여 알아본 뒤, 그러한 이상적인 상황에서는 반드시 Nash Equilibrium이 존재한다는 것을 확인하였습니다. (이전 글 보기) 이번 포스트에서는 free-riding에 관하여 살펴보도록 하겠습니다. 4. Free-Riding 만약 모든 client로부터 학습된 결과를 받는다면, 이러한 mechanism $\mathcal{M}$은 $\left[ \mathcal{M} (\textbf{m}) \right]_i = v (\sum_j m_j)$으..
Federated Learning/Papers 2023. 1. 5. 00:30
Prev 1 2 3 4 5 ··· 10 Next