论文分享_07_30

Scalable Quantitative Verification For Deep Neural Networks

主要贡献:

  1. 提出了一种基于黑盒的神经网络量化验证算法
  2. 实现了一个工具PROVERO,其性能可以在1小时内验证现实世界中的大规模网络
  3. 实验证明PROVERO是一类不依赖具体攻击的鲁棒性评估算法,并且可以在确定性算法失效时给出定量性结论。

文章内容:

        这篇文章主要关心的是神经网络的局部量化性质的验证,局部量化性质的价值在于它可以更好的刻画神经网络在局部的鲁棒性表现。证明参考:https://en.wikipedia.org/wiki/Chernoff_bound

为了解决采样数爆炸的问题,这篇文章提出了PROVERO的验证框架,思想主要是通过检验单边性质提前结束验证过程,降低采样数;同时使得Yes和No情况下得到的显著性水平相同。

此时对于这个框架,还有两个部分没有决定,一是单侧检验的终止条件cond,二是如何挑选比较好的单侧检验参数。根据之前的分析,因为采样数和算法允许的错误的平方成反比,那么较大的可以通过非常少的样本进行验证,这篇文章提出一种折半错误率的单侧检验参数选择方法。同时,当单侧检验的错误率已经小于原检验问题时,此时单侧检验的代价已经大于原问题,以此作为单侧检验的终止条件。

这篇文章还和ERAN进行了比较,在BM1上的结果可以看出在半径增加后ERAN的验证率骤降,而PROVERO依然保持较高的可验证率。同时,也可以推断出神经网络的出错概率并不随着区域半径的增加而单调增加。