Federated Learning

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 weighted Rademacher complexity에 기반한 Agnostic FL의 learning guarantee를 확인하였습니다. (이전 글 보기) 이번 포스트에서는 해당 guarantee를 VC-dimension의 관점에서 다시 확인해본 후, Agnostic FL의 learning guarantee가 기존의 general bound와 어떠한 차이점을 보이는지에 관해서 알아보도록 하겠습니다. 5. Learning Guarantee - (2) $\text{Lemma 3}$ $\ell$이 $-1$ 혹은 $1$의 값만 가지는 loss function이고, 이..

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 fairness에 관한 내용을 간단하게 다룬 후, 몇 가지 definition을 확인하였습니다. (이전 글 보기) 이번 포스트에서는 첫 번째 learning guarantee에 관하여 살펴보겠습니다. paper에 있는 증명은 생략된 부분이 매우 많습니다. 최대한 자세하게 풀어서 적고자 했으니, 참고 바랍니다. 5. Learning Guarantee - (1) $\text{Theorem 2}$ $M > 0$에 의하여 loss $l$이 bounded되어 있고, $\epsilon > 0$가 고정된 상황을 가정하자. $S_k \sim \mathcal{D}_k ^{m_k..

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 Agnostic FL의 기본적인 아이디어를 확인해보았습니다. (이전 글 보기) 이번 포스트에서는 Agnostic FL이 fairness에 어떻게 기여하는지 살펴볼 계획입니다. 그리고 이후의 내용을 전개하기 위한 몇 가지 정의도 함께 다루도록 하겠습니다. 3. Good-intent Fairness 지금부터 하는 이야기는, Agnostic FL의 방법론을 FL이 아닌 다른 분야(domain adaptation, crowdsourcing 등)에서도 적용하기 위하여 일반화하는 과정에 관한 것입니다. 따라서, 지금까지 client라고 불렀던 것들을 해당 파트에서는 cla..

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 이번 포스트부터는 fairness에 관한 내용을 살펴볼 예정입니다. FL의 특성 상 불특정 다수의 client가 학습에 관여하게 되는데, 이때 학습에 기여하는 정도는 각 client 별로 다를 것입니다. 예를 들어, straggler와 같이 환경적인 요인으로 인해 학습에 참여하지 못한 client가 생길 수도 있고, 혹시라도 개인정보가 유출될까봐 걱정되어 데이터 사용에 동의하지 않는 application 사용자도 있을 것입니다. 반대로, random하게 sampling을 진행하지만 우연히도 매 round마다 학습에 참여하게 된 client가 있을 수도 있고, 또 그중에는 학습을..

최근에 Privacy Preserving 분야를 공부하면서, 몇몇 paper들이 ML 쪽 학회가 아니라 보안 분야의 학회에 accepted된 것을 확인하였습니다. 하지만 저의 경우 ML을 주로 공부하다 보니, 이러한 타 분야 학회들에 관한 정보가 부족하였고, 따라서 해당 학회들이 어느 정도의 신뢰성을 가지고 있는지도 잘 모르는 상황이었습니다. 이번 포스트에서는, 이러한 상황에서 사용할 수 있는 사이트 두 가지를 소개하고자 합니다. (물론, ranking을 판단하는 기준은 사람마다 다를 수 있기 때문에 해당 사이트는 참고용으로만 사용하시기 바랍니다. 서열 조장이 목적이 아님을 꼭 명시하시기 바랍니다.) 1. ConfSearch (사이트: https://confsearch.ethz.ch/) 저의 경우, CC..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 이번 포스트에서는 이전까지 다루었던 내용들을 토대로 하여 해당 논문의 experiments를 살펴보겠습니다. (이전 글 보기) 9. Experiments (1) MNIST Dataset MNIST dataset의 경우, 60차원의 PCA layer, 1000개의 hidden unit이 있는 hidden layer를 사용한 model을 baseline으로 사용하였으며, 이때 activation function으로는 ReLU를 사용하였습니다. (여러 개의 hidden layer를 가진 model도 실험해보았으나, 한 개인 경우가 더 성능이 좋았다고 합니다.) ..