목록Fairness (12)

Federated Learning

[ICLR 2020] q-FFL, q-FedAvg - (5)

논문 제목: Fair Resource Allocation in Federated Learning 출처: https://arxiv.org/abs/1905.10497 지난 포스트에서 q-FFL의 solver인 q-FedSGD, q-FedAvg에 대하여 알아보았습니다. (이전 글 보기) 이번 포스트에서는 해당 paper의 experiments를 확인해보도록 하겠습니다. 우리가 살펴보아야 할 부분은 $q$에 따른 성능 변화, 그리고 수렴성입니다. 해당 paper의 경우 experiments가 상당히 길어서, 아쉽게도 모든 실험 결과를 다루지는 못하였습니다. 특히, meta learning에서의 application(q-MAML)은 논의하는 내용을 벗어나서 다루지 않았습니다. 세부 사항은 paper를 참고 바랍니..
Federated Learning/Papers 2022. 12. 12. 12:00
[ICLR 2020] q-FFL, q-FedAvg - (4)

논문 제목: Fair Resource Allocation in Federated Learning 출처: https://arxiv.org/abs/1905.10497 지난 포스트에서 q-FFL에 관한 이야기는 마무리지었고, 이번 포스트에서는 q-FFL의 solver인 q-FedAvg에 관한 내용을 다룰 것입니다. (이전 글 보기) 마치 FedSGD에서 FedAvg로 넘어가듯이, 우선 q-FedSGD부터 살펴보도록 하겠습니다. 7. q-FedSGD q-FFL의 핵심은 performance와 fairness 사이의 trade-off를 잘 조절할 수 있는 최적의 $q$를 찾는 것입니다. 다만, 특정 $q \in \mathbb{R}_{\geq 0}$가 어떠한 수준의 fairness와 대응하는지는 알 수 없기 때문에..
Federated Learning/Papers 2022. 12. 7. 19:00
[ICLR 2020] q-FFL, q-FedAvg - (3)

논문 제목: Fair Resource Allocation in Federated Learning 출처: https://arxiv.org/abs/1905.10497 지난 포스트에서는 각기 다른 uniformity의 정의를 가지고 두 model 간의 fairness를 비교하는 몇 가지 예시를 확인하였습니다. (이전 글 보기) 이번 포스트에서는 uniformity 간의 관계를 확인해본 후, q-FFL의 generalization bounds를 분석하도록 하겠습니다. ($f_q (w)$는 이전 포스트와 동일하게 unweighted version을 사용할 것입니다.) 5. Uniformity 간의 관계 $\text{Lemma 11}$ [Entropy 관점의 uniformity와 Cosine Distance 관점의..
Federated Learning/Papers 2022. 11. 30. 15:30
[ICLR 2020] q-FFL, q-FedAvg - (2)

논문 제목: Fair Resource Allocation in Federated Learning 출처: https://arxiv.org/abs/1905.10497 지난 포스트에서 q-FFL을 정의한 후, Agnostic FL을 q-FFL의 특수한 case로 볼 수 있다는 것을 확인하였습니다. 그리고 두 model 간의 fairness를 비교하기 위하여, 몇 가지 형태의 uniformity를 정의하였습니다. (이전 글 보기) 이번 포스트에서는 fairness를 비교하는 몇 가지 예시들을 확인해보도록 하겠습니다. 4. Uniformity 비교 시작하기에 앞서, 증명 과정에서의 편의를 위하여 $f_q (w)$를 다시 정의하도록 하겠습니다. $$f_q (w) := \sum_{k=1}^m \frac {p_k} {..
Federated Learning/Papers 2022. 11. 27. 23:00
[ICLR 2020] q-FFL, q-FedAvg - (1)

논문 제목: Fair Resource Allocation in Federated Learning 출처: https://arxiv.org/abs/1905.10497 Agnostic FL이 나름대로 Fairness를 FL 분야로 끌어오기는 했으나, 아직은 부족한 부분이 많았습니다. (이전 글 보기) 문제가 되는 부분은 크게 두 가지였는데, 하나는 학습에 참여하는 client가 많아지면 학습이 어려워진다는 것, 다른 하나는 Agnostic FL이 "가장 성능이 낮은" 한 가지 client의 성능을 높일 수는 있어도, 그 외의 client에게는 유의미한 보정을 해줄 수 없다는 것이었습니다. 이번에는 이 두 가지를 해결하려고 시도한 paper를 살펴보도록 하겠습니다. 1. $\alpha$-fairness $\al..
Federated Learning/Papers 2022. 11. 22. 12:00
[ICML 2019] Agnostic FL - (7)

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트를 끝으로 알고리즘에 대한 설명을 마쳤습니다. (이전 글 보기) 이번 포스트에서는 실험 결과를 살펴보도록 하겠습니다. 10. Experiments (1) Adult Dataset (Tabular Data) Adult Dataset에는 총 32,561개의 data가 존재하는데, 각 data는 1명의 사람에 해당합니다. 이 dataset을 이용하여 연간 소득이 $50,000를 초과하는지에 관한 binary classification을 수행할 것인데, 이때에 박사학위 소지 여부를 기준으로 2개의 domain을 구성할 것입니다. (즉, 이는 FL에서 총 client의 수가 ..
Federated Learning/Papers 2022. 11. 18. 00:30
Prev 1 2 Next