Federated Learning

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 지난 포스트까지 해서 $\text{Theorem 1}$을 증명하기 위한 사전 준비를 모두 마쳤습니다. (이전 글 보기) 이번 포스트에서 증명을 마무리하도록 하고, implementation이 어떻게 되었는지 확인해보겠습니다. 6. $\text{Theorem 1}$ 증명하기 $\text{Theorem 1}$ 다음을 만족시키는 $c_1, c_2 \in \mathbb{R}$가 존재한다: 임의의 $\epsilon 0$에 대하여, 만약 $\sigma \geq c_2 \frac {q \sqrt{T \log \frac {1} ..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 지난 포스트에서 Moments Accountant의 작동 원리를 확인하였습니다. (이전 글 보기) 이번 포스트에서는 step마다 bound하는 방법에 관한 이야기를 해보겠습니다. 5. $\mathcal{M}_i$를 bound하기 주의사항: 해당 논문은 Gaussian Noise를 사용한다는 가정 하에 작성되었습니다. $\text{Lemma 3}$ 함수 $f: D \rightarrow \mathbb{R}^p$가 존재하여 $||f(\cdot)||_2 \leq 1$을 만족한다고 가정하자. 그리고 $\sigma \geq 1$에 대하여 $q < \frac {1} {..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 지난 포스트에서 DPSGD의 작동 방식을 확인하고, privacy cost를 계산하는 기법 중 하나인 Moments Accountant를 알아보았습니다. (이전 글 보기) 이번 포스트에서는 이 Moments Accountant를 조금 더 엄밀하게 살펴보도록 하겠습니다. 4. Moments Accountant - 이어서 우선, 이웃한 두 database $d, d' \in \mathcal{D}^n$, mechanism $\mathcal{M}$, 부가적인 정보 $\text{Aux}$, $\mathcal{M}$의 output $\mathcal{o} \in \ma..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 지난 포스트에서 DP가 무엇인지, 그리고 어떻게 DP를 구현하는지 살펴보았습니다. (이전 글 보기) 이번 포스트에서는 DP를 SGD에 어떻게 적용하였는지에 관하여 확인해보겠습니다. 3. SGD에 DP 적용하기 DPSGD 알고리즘의 pseudo-code는 다음과 같습니다. 설명해야 할 부분이 많은데, 하나씩 확인해보도록 하겠습니다. (1) Gradient Clipping ($C$) 원래 gradient clipping은 gradient explosion을 방지하기 위해서 upper bound를 설정하는 용도로 사용되는 기법이지만, 여기에서는 다른 용도(DP를..

논문 제목: Deep Learning with Differential Privacy 출처: https://arxiv.org/abs/1607.00133 사실 Differential Privacy(DP)는 ML 분야가 아니라 DB 쪽에서 사용되던 기법입니다. 이번에 다룰 논문의 주된 내용은 이 DP를 Deep Learning에 적용하여 privacy preserving을 꾀하는 것인데, 어떻게 DP를 Deep Learning에 이식할 수 있었는지, DP로 인하여 model의 성능이 크게 저하되지는 않았는지, 그리고 DP가 computation cost에는 어느 정도 영향을 미치는지 확인해보도록 하겠습니다. 우선, DP가 무엇인지에 관하여 간략하게 언급하도록 하겠습니다. 1. Differtial Privacy..

논문 제목: FjORD: Fair and Accurate Federated Learning under heterogeneous targets with Ordered Dropout 출처: https://arxiv.org/abs/2102.13451 이전 포스트까지 해서 FjORD의 모든 내용을 살펴보았습니다. (이전 글 보기) 이번 포스트에서는 experiments를 살펴보겠습니다. 자세한 세팅은 FjORD - (2)에서 설명하였으므로 생략합니다. 7. Experiments (1) Hyperparameters $D_{\mathcal{p}}$의 경우, $p \sim \mathcal{U}_5$와 $p \sim \mathcal{U}_{10}$을 사용하였습니다. 다음으로, Drop Scale(ds)는 $0.5$와 ..