Federated Learning

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 이번 포스트에서는 이전까지 다루었던 내용들을 토대로 하여 해당 논문의 experiments를 살펴보겠습니다. (이전 글 보기) 9. Experiments (1) MNIST Dataset MNIST dataset의 경우, 60차원의 PCA layer, 1000개의 hidden unit이 있는 hidden layer를 사용한 model을 baseline으로 사용하였으며, 이때 activation function으로는 ReLU를 사용하였습니다. (여러 개의 hidden layer를 가진 model도 실험해보았으나, 한 개인 경우가 더 성능이 좋았다고 합니다.) ..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 지난 포스트까지 해서 $\text{Theorem 1}$을 증명하기 위한 사전 준비를 모두 마쳤습니다. (이전 글 보기) 이번 포스트에서 증명을 마무리하도록 하고, implementation이 어떻게 되었는지 확인해보겠습니다. 6. $\text{Theorem 1}$ 증명하기 $\text{Theorem 1}$ 다음을 만족시키는 $c_1, c_2 \in \mathbb{R}$가 존재한다: 임의의 $\epsilon 0$에 대하여, 만약 $\sigma \geq c_2 \frac {q \sqrt{T \log \frac {1} ..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 지난 포스트에서 Moments Accountant의 작동 원리를 확인하였습니다. (이전 글 보기) 이번 포스트에서는 step마다 bound하는 방법에 관한 이야기를 해보겠습니다. 5. $\mathcal{M}_i$를 bound하기 주의사항: 해당 논문은 Gaussian Noise를 사용한다는 가정 하에 작성되었습니다. $\text{Lemma 3}$ 함수 $f: D \rightarrow \mathbb{R}^p$가 존재하여 $||f(\cdot)||_2 \leq 1$을 만족한다고 가정하자. 그리고 $\sigma \geq 1$에 대하여 $q < \frac {1} {..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 지난 포스트에서 DPSGD의 작동 방식을 확인하고, privacy cost를 계산하는 기법 중 하나인 Moments Accountant를 알아보았습니다. (이전 글 보기) 이번 포스트에서는 이 Moments Accountant를 조금 더 엄밀하게 살펴보도록 하겠습니다. 4. Moments Accountant - 이어서 우선, 이웃한 두 database $d, d' \in \mathcal{D}^n$, mechanism $\mathcal{M}$, 부가적인 정보 $\text{Aux}$, $\mathcal{M}$의 output $\mathcal{o} \in \ma..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 지난 포스트에서 DP가 무엇인지, 그리고 어떻게 DP를 구현하는지 살펴보았습니다. (이전 글 보기) 이번 포스트에서는 DP를 SGD에 어떻게 적용하였는지에 관하여 확인해보겠습니다. 3. SGD에 DP 적용하기 DPSGD 알고리즘의 pseudo-code는 다음과 같습니다. 설명해야 할 부분이 많은데, 하나씩 확인해보도록 하겠습니다. (1) Gradient Clipping ($C$) 원래 gradient clipping은 gradient explosion을 방지하기 위해서 upper bound를 설정하는 용도로 사용되는 기법이지만, 여기에서는 다른 용도(DP를..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 사실 Differential Privacy(DP)는 ML 분야가 아니라 DB 쪽에서 사용되던 기법입니다. 이번에 다룰 논문의 주된 내용은 이 DP를 Deep Learning에 적용하여 privacy preserving을 꾀하는 것인데, 어떻게 DP를 Deep Learning에 이식할 수 있었는지, DP로 인하여 model의 성능이 크게 저하되지는 않았는지, 그리고 DP가 computation cost에는 어느 정도 영향을 미치는지 확인해보도록 하겠습니다. 우선, DP가 무엇인지에 관하여 간략하게 언급하도록 하겠습니다. 1. Differtial Privacy..