목록Federated Learning (45)

Federated Learning

[FL-NeurIPS 2022] Data Maximization - (3)

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 지난 포스트에서 이상적인 FL mechanism이 만족해야 하는 조건에 관하여 알아본 뒤, 그러한 이상적인 상황에서는 반드시 Nash Equilibrium이 존재한다는 것을 확인하였습니다. (이전 글 보기) 이번 포스트에서는 free-riding에 관하여 살펴보도록 하겠습니다. 4. Free-Riding 만약 모든 client로부터 학습된 결과를 받는다면, 이러한 mechanism $\mathcal{M}$은 $\left[ \mathcal{M} (\textbf{m}) \right]_i = v (\sum_j m_j)$으..
Federated Learning/Papers 2023. 1. 5. 00:30
[FL-NeurIPS 2022] Data Maximization - (2)

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 지난 포스트에서, Low-cost Agent가 아닌 이상 Federated Learning에 참여하는 것이 개인의 관점에서 유리하다는 것을 확인하였습니다. (이전 글 보기) 이번에는 Federated Learning을 보다 거시적인 관점에서 바라보도록 하겠습니다. 2. Feasible Mechanism / Mechanism with Individual Rationality $\textbf{m} := \{m_1, \cdots, m_n\}$, $\textbf{v} := \{v_1, \cdots, v_n\}$으로 deno..
Federated Learning/Papers 2023. 1. 3. 16:00
[FL-NeurIPS 2022] Data Maximization - (1)

논문 제목: Mechanisms that Incentivize Data Sharing in Federated Learning 출처: https://arxiv.org/abs/2207.04557 예전에 Agnostic FL을 다루면서 Contribution Evaluation 분야를 잠깐 언급한 적이 있었는데, 이번에는 이 부분에 대해서 이야기를 해보려고 합니다. (이전 글 보기) 이성적인 client라면, "굳이 내가 나의 data를 제공하지 않아도, 충분히 (다른 사람들의 data에 기반하여) 잘 학습된 model을 받아와서 쓸 수 있잖아?"라는 생각을 할 수도 있습니다. 한두 사람만 이러한 생각을 한다면 다행이지만, 만약 다수의 client가 비슷한 생각을 한다면, 결국 model은 올바른 방향으로 학..
Federated Learning/Papers 2022. 12. 13. 23:00
[ICLR 2020] q-FFL, q-FedAvg - (5)

논문 제목: Fair Resource Allocation in Federated Learning 출처: https://arxiv.org/abs/1905.10497 지난 포스트에서 q-FFL의 solver인 q-FedSGD, q-FedAvg에 대하여 알아보았습니다. (이전 글 보기) 이번 포스트에서는 해당 paper의 experiments를 확인해보도록 하겠습니다. 우리가 살펴보아야 할 부분은 $q$에 따른 성능 변화, 그리고 수렴성입니다. 해당 paper의 경우 experiments가 상당히 길어서, 아쉽게도 모든 실험 결과를 다루지는 못하였습니다. 특히, meta learning에서의 application(q-MAML)은 논의하는 내용을 벗어나서 다루지 않았습니다. 세부 사항은 paper를 참고 바랍니..
Federated Learning/Papers 2022. 12. 12. 12:00
[ICLR 2020] q-FFL, q-FedAvg - (4)

논문 제목: Fair Resource Allocation in Federated Learning 출처: https://arxiv.org/abs/1905.10497 지난 포스트에서 q-FFL에 관한 이야기는 마무리지었고, 이번 포스트에서는 q-FFL의 solver인 q-FedAvg에 관한 내용을 다룰 것입니다. (이전 글 보기) 마치 FedSGD에서 FedAvg로 넘어가듯이, 우선 q-FedSGD부터 살펴보도록 하겠습니다. 7. q-FedSGD q-FFL의 핵심은 performance와 fairness 사이의 trade-off를 잘 조절할 수 있는 최적의 $q$를 찾는 것입니다. 다만, 특정 $q \in \mathbb{R}_{\geq 0}$가 어떠한 수준의 fairness와 대응하는지는 알 수 없기 때문에..
Federated Learning/Papers 2022. 12. 7. 19:00
[ICLR 2020] q-FFL, q-FedAvg - (3)

논문 제목: Fair Resource Allocation in Federated Learning 출처: https://arxiv.org/abs/1905.10497 지난 포스트에서는 각기 다른 uniformity의 정의를 가지고 두 model 간의 fairness를 비교하는 몇 가지 예시를 확인하였습니다. (이전 글 보기) 이번 포스트에서는 uniformity 간의 관계를 확인해본 후, q-FFL의 generalization bounds를 분석하도록 하겠습니다. ($f_q (w)$는 이전 포스트와 동일하게 unweighted version을 사용할 것입니다.) 5. Uniformity 간의 관계 $\text{Lemma 11}$ [Entropy 관점의 uniformity와 Cosine Distance 관점의..
Federated Learning/Papers 2022. 11. 30. 15:30
Prev 1 2 3 4 5 ··· 8 Next