论文分享_08_11

Improving Adversarial Robustness via Channel-wise Activation Sup

      本次分享的论文是发表于ICLR2021的Improving Adversarial Robustness via Channel-wise Activation Suppressing,作者为Yang Bai, Yuyang Zeng, Yong Jiang, Xing Jun, Yiseng Wang。

摘     要

       为了得到安全可靠的神经网络,对于对抗样本及它们对网络的激活情况的研究已经引发了广泛关注。与已有工作不同的是,本文从channel激活的角度发现了对抗样本的两个新特性:

  1. 对抗样本对网络的激活程度高于自然样本;
  2. 对抗样本比自然样本更均匀地激活着channel。

作者发现,尽管时下的对抗训练方法解决了第一个高激活强度的问题,但第二个广泛激活的问题仍然存在。这激发作者提出了Channel-wise Activation Suppressing(CAS)的训练策略来抑制对抗样本对channel的冗余激活。作者表明CAS可以用一种简单而通用的训练策略训练出一种抑制对抗性激活的模型,并且可以轻松地应用于现有的防御方法以进一步提高其鲁棒性。

一、从channel激活的角度看网络对抗鲁棒性

如图所示,我们会发现对抗样本相比于普通样本在channel激活方面表现出以下两个特征:

  1. 对抗样本对网络的激活程度高于自然样本
  2. 对抗样本比自然样本更均匀地激活着channel

通过已有研究和我们的直观感觉都可以想见,对于图像识别问题,一张图片里存在有用特征和无用特征,既然CNN的不同channel起到了一个捕捉不同特征的作用,那么就自然会有帮助网络对一类问题做出准确判断的robust channel和非robust channel,那么如果对于一个样本有用无用的channel都被激活了就意味着此刻网络很容易做出一个错误的判断了。

经过对抗训练之后,新得到的网络显著地抑制了第一个问题,而对第二个情况,还是有一些非robust的channel被激活了,于是作者希望找到一种方法进一步解决这个问题,即Channel-wise Activation Suppressing (CAS).

二、Channel-wise Activation Suppressing

       如图所示,CAS的核心其实就是在网络的中间层里加入一个辅助网络,用来学习判断哪些channel是robust channel,不是的就会在主网络的下一层被抑制。具体算法如下:
其中:
就是说,CAS辅助网络和主网络是同步在一起进行训练的,形成一个总的loss function
这里CAS辅助网络就是一个很直接的由channel对应类别标签的全连接网络。
而每一个channel对应的feature map会压缩成一个值作为辅助网络输入的一个feature。
        这里就是用辅助网络学到的面对一个特定分类时各channel重要性的一组权重对主网络下一层的激活程度进行一个reweight,主要是抑制掉不该被激活的非robust channel。

三、实验

        如图,黑盒和白盒攻击方式下,加入了CAS组件的算法的对抗准确率(鲁棒性)均比原来有所提升。

四、总结

       本文从channel激活的角度确定了 DNN 激活和对抗鲁棒性之间的两个联系。之前的对抗性训练仅解决了对抗样本带来的高激活幅度的第一个问题,而未能解决大量channel普遍被激活的第二个问题。文章提出了一种新的训练策略,通过channel激活抑制 (CAS) 来训练更强大的 DNN 中间层。在训练阶段,CAS 通过根据各channel对类别预测的贡献重新加权来动态抑制冗余channel。CAS 是一种通用的中间层鲁棒化技术,可以与现有的防御方法一起应用于任何 DNN。实验表明,文中的 CAS 训练策略可以持续提高当前先进的对抗训练方法的鲁棒性。它是通用的、有效的,并且可以很容易地结合到许多现有的防御方法中。