Federated Learning

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 지난 포스트까지는 각 client의 cost가 알려져 있는 상황을 가정하고 내용을 전개하였습니다. (이전 글 보기) 이번 포스트에서는 이러한 가정 없이, 즉, cost를 모르는 상황에서 data-maximizing mechanism을 찾는 방법에 관하여 알아보도록 하겠습니다. 7. Value Shaping Mechanism (Cost를 모르는 경우) 지금부터는 정보의 비대칭성이 존재합니다. 다시 말해, 각 client $i$는 본인의 cost $c_i$를 알고 있지만, server에서는 이를 알지 못하는 상황입니다...

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 지난 포스트에서 data-maximizing mechanism의 정의를 알아보고, 저자들이 제안하는 mechanism은 어떠한 방식으로 동작하는지 확인하였습니다. (이전 글 보기) 이번 포스트에서는 해당 mechanism이 data-maximizing하다는 것을 보이도록 하겠습니다. 5. Value Shaping Mechanism (Cost를 아는 경우) - 이어서 $\text{Theorem 4}$ [Cost가 알려져 있을 때의 Data Maximization] 임의의 $\epsilon > 0$에 대해서, mecha..

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 지난 포스트에서 free-riding에 관한 이야기를 다루면서, standard federated learning mechanism은 free-riding을 막기 어렵다는 것을 확인하였습니다. (이전 글 보기) 이번 포스트에서는 free-riding을 방지할 수 있는 방안에 관하여 살펴보도록 하겠습니다. 5. Value Shaping Mechanism (Cost를 아는 경우) $\text{Definition C}$ [Data Maximization] 임의의 mechanism $\mathcal{M}$에 대하여, 해당 ..

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 지난 포스트에서 이상적인 FL mechanism이 만족해야 하는 조건에 관하여 알아본 뒤, 그러한 이상적인 상황에서는 반드시 Nash Equilibrium이 존재한다는 것을 확인하였습니다. (이전 글 보기) 이번 포스트에서는 free-riding에 관하여 살펴보도록 하겠습니다. 4. Free-Riding 만약 모든 client로부터 학습된 결과를 받는다면, 이러한 mechanism $\mathcal{M}$은 $\left[ \mathcal{M} (\textbf{m}) \right]_i = v (\sum_j m_j)$으..

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 지난 포스트에서, Low-cost Agent가 아닌 이상 Federated Learning에 참여하는 것이 개인의 관점에서 유리하다는 것을 확인하였습니다. (이전 글 보기) 이번에는 Federated Learning을 보다 거시적인 관점에서 바라보도록 하겠습니다. 2. Feasible Mechanism / Mechanism with Individual Rationality $\textbf{m} := \{m_1, \cdots, m_n\}$, $\textbf{v} := \{v_1, \cdots, v_n\}$으로 deno..

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 예전에 Agnostic FL을 다루면서 Contribution Evaluation 분야를 잠깐 언급한 적이 있었는데, 이번에는 이 부분에 대해서 이야기를 해보려고 합니다. (이전 글 보기) 이성적인 client라면, "굳이 내가 나의 data를 제공하지 않아도, 충분히 (다른 사람들의 data에 기반하여) 잘 학습된 model을 받아와서 쓸 수 있잖아?"라는 생각을 할 수도 있습니다. 한두 사람만 이러한 생각을 한다면 다행이지만, 만약 다수의 client가 비슷한 생각을 한다면, 결국 model은 올바른 방향으로 학..