Federated Learning

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 지난 포스트에서 Agnostic FL의 기본적인 아이디어를 확인해보았습니다. (이전 글 보기) 이번 포스트에서는 Agnostic FL이 fairness에 어떻게 기여하는지 살펴볼 계획입니다. 그리고 이후의 내용을 전개하기 위한 몇 가지 정의도 함께 다루도록 하겠습니다. 3. Good-intent Fairness 지금부터 하는 이야기는, Agnostic FL의 방법론을 FL이 아닌 다른 분야(domain adaptation, crowdsourcing 등)에서도 적용하기 위하여 일반화하는 과정에 관한 것입니다. 따라서, 지금까지 client라고 불렀던 것들을 해당 파트에서는 cla..

논문 제목: Agnostic Federated Learning 출처: https://arxiv.org/abs/1902.00146 이번 포스트부터는 fairness에 관한 내용을 살펴볼 예정입니다. FL의 특성 상 불특정 다수의 client가 학습에 관여하게 되는데, 이때 학습에 기여하는 정도는 각 client 별로 다를 것입니다. 예를 들어, straggler와 같이 환경적인 요인으로 인해 학습에 참여하지 못한 client가 생길 수도 있고, 혹시라도 개인정보가 유출될까봐 걱정되어 데이터 사용에 동의하지 않는 application 사용자도 있을 것입니다. 반대로, random하게 sampling을 진행하지만 우연히도 매 round마다 학습에 참여하게 된 client가 있을 수도 있고, 또 그중에는 학습을..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 이번 포스트에서는 이전까지 다루었던 내용들을 토대로 하여 해당 논문의 experiments를 살펴보겠습니다. (이전 글 보기) 9. Experiments (1) MNIST Dataset MNIST dataset의 경우, 60차원의 PCA layer, 1000개의 hidden unit이 있는 hidden layer를 사용한 model을 baseline으로 사용하였으며, 이때 activation function으로는 ReLU를 사용하였습니다. (여러 개의 hidden layer를 가진 model도 실험해보았으나, 한 개인 경우가 더 성능이 좋았다고 합니다.) ..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 지난 포스트까지 해서 $\text{Theorem 1}$을 증명하기 위한 사전 준비를 모두 마쳤습니다. (이전 글 보기) 이번 포스트에서 증명을 마무리하도록 하고, implementation이 어떻게 되었는지 확인해보겠습니다. 6. $\text{Theorem 1}$ 증명하기 $\text{Theorem 1}$ 다음을 만족시키는 $c_1, c_2 \in \mathbb{R}$가 존재한다: 임의의 $\epsilon 0$에 대하여, 만약 $\sigma \geq c_2 \frac {q \sqrt{T \log \frac {1} ..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 지난 포스트에서 Moments Accountant의 작동 원리를 확인하였습니다. (이전 글 보기) 이번 포스트에서는 step마다 bound하는 방법에 관한 이야기를 해보겠습니다. 5. $\mathcal{M}_i$를 bound하기 주의사항: 해당 논문은 Gaussian Noise를 사용한다는 가정 하에 작성되었습니다. $\text{Lemma 3}$ 함수 $f: D \rightarrow \mathbb{R}^p$가 존재하여 $||f(\cdot)||_2 \leq 1$을 만족한다고 가정하자. 그리고 $\sigma \geq 1$에 대하여 $q < \frac {1} {..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 지난 포스트에서 DPSGD의 작동 방식을 확인하고, privacy cost를 계산하는 기법 중 하나인 Moments Accountant를 알아보았습니다. (이전 글 보기) 이번 포스트에서는 이 Moments Accountant를 조금 더 엄밀하게 살펴보도록 하겠습니다. 4. Moments Accountant - 이어서 우선, 이웃한 두 database $d, d' \in \mathcal{D}^n$, mechanism $\mathcal{M}$, 부가적인 정보 $\text{Aux}$, $\mathcal{M}$의 output $\mathcal{o} \in \ma..