本文的目标,是用最少的、最通俗的语言,来表述一篇论文的创新之处,或者说,进步。

随意排序,不负误导责任。

dropout

每次feed forward和backprop都只使用随机的一部分perceptron。使得网络能更冗余(要求不同的perceptron表示同样的模型)->健壮。

maxout

同时使用多个函数feed forward,取最大的一个。可以用几个简单的函数(线性变换)近似一个复杂的函数(如二次、Rectifier)。

WGAN

使用和GAN不同的尺度(EM距离)来丈量generator和数据中的分布的差距,以避免GAN原来使用的KL或JS造成的梯度消失的问题。

WGAN GP

补在WGAN里捅的篓子。换了一种方法实现Lipshitz连续,以计算更好的EM距离梯度。

ResNet

将一个单元的输入加到输出上,同时堆层数。

Adam

对RMSProp做出改进。使用幂衰减的梯度和二阶梯度的估计修正梯度,并加上bias修正(由于梯度初始化为0,计算前几个梯度时幂衰减平均较小)。