17 Mar 2021

Discussion meeting

This is a summary of the group meeting on 17 March 2021

Adversarial Vertex Mixup: Toward Better Adversarially Robust Generalization

这篇论文发表于CVPR2020,旨在通过对训练集的数据处理提高神经网络的robust generalization.

文章的主要贡献包括:

  1. 用一个典型的toy example理论上证明了adversarial feature overfitting现象对网络鲁棒性泛化的恶略影响,简单来说,由于数据集的规模不足,会导致网络对一些非鲁棒特征的过度学习从而导致准确率下降。
  2. 提出了AVmixup这种数据增强的方式,对数据集进行进一步处理,本质上讲,这其实是一种对数据集label smoothing处理的变种。
  3. 通过实验证明state-of-the-art的鲁棒性提升方法在使用经过AVmixup处理过后的数据集会减小泛化误差,从而验证了这种算法的有效性。

综上我认为这篇文章很有趣的地方有二,一方面对非鲁棒特征的进一步理解和对训练效果的分析,第二就是label smoothing值得了解,是目前很火的一个处理方式。

Probabilistic Program Analysis with Martingales

本文主要介绍了利用秩上鞅对于概率程序的几乎必然终止性验证的验证的理论和方法。在经典程序中,我们利用秩函数来对程序的终止性进行验证,对于概率程序,由于每次采样执行都可能不相同,文章在概率迁移系统模型下定义了什么是终止性,直观上来说就是将秩函数中的下降变为对于程序执行这个随机过程,表达式期望每次的严格下降,这也就是上鞅的基本直观。文章给出了秩上鞅的定义,并且证明了秩上鞅的存在可以证明概率程序的几乎必然终止,并给出了线性模板的合成算法。