Hyperparamter tuning with Renyi Differential Privacy .pdf

论文概述：

  1. 出处： ICLR 2022
  2. 作者：Nicolas Papernot∗ Google Research, Brain Team [email protected] Thomas Steinke∗ Google Research, Brain Team [email protected]
  3. 成就：2022 ICLR 杰出论文
  4. 获奖理由：本文对学习算法差分隐私分析的一个重要盲点提供了新的见解，即学习算法在数据上进行多次运行以调优超参数。作者指出，在某些情况下，部分数据可能会扭曲最优超参数，从而泄露私人信息。此外，作者在 Renyi 差分隐私框架下为超参数搜索过程提供了隐私保障。 这是一篇优秀的论文，考虑了学习算法的日常使用及其对社会隐私的影响，并提出了解决方案。这项工作将为差分隐私机器学习算法的后续工作提供基础。

论文解读：

  1. 解决的问题：对于大部分差分私有算法而言，在对超参数进行调整过程中，会产生需要多次训练而导致的隐私泄漏问题。
  2. 解决方式：使用“renyi”差分隐私框架对超参数搜索过程提供隐私保护
  3. 结论：调优超参数确实会泄漏隐私。同时在假设泄漏为适度的情况下，只要选择超参数所需的每个候选训练使用Renyi DP，就可以实现更加高效的差异隐私。

公式化阐述问题：

问题引入与相关公式

Def. 不可分性的界限作为隐私的量化标准。对于一个随机化算法M: X n→Y是(ε， δ)-DP，如果对于任何输入X, x0∈X n只在单个记录的添加、删除或替换上不同，对于输出的任何子集S⊆Y，我们有：

EE866005-F3F1-471C-B69F-66C1BF85DB27.png

作为损失边界，ε越小，提供的隐私保证越强，因为ε越小，提供的隐私保证越强，因为他人很难区分算法在两个相邻输入上的输出。参数δ本质上是保证失效的概率。他人很难区分算法在两个相邻输入上的输出。参数δ本质上是保证失效的概率。