辍学正则化 (Dropout Regularization)

介绍

辍学正则化是一种防止神经网络过拟合的技术。通过随机让一部分神经元失活，使得神经网络的复杂度降低，同时也防止了特定神经元对于特定输入的依赖过强，提升了网络的泛化性能。

原理

在训练神经网络时，我们通过反向传播算法来更新网络的权重和偏置。在辍学正则化中，我们在反向传播时随机让一些神经元失活，即将它们的输出设为0，使得网络无法依赖这些神经元进行预测。具体而言，对于每个训练样本，在前向传播时，我们以概率p将某些神经元的输出设为0，然后在反向传播时只更新未失活的神经元的权重和偏置。

实现

在实现辍学正则化时，需要将神经网络的每个层都加上一个Dropout层。Keras里的Dropout层用法如下：

from keras.models import Sequential
from keras.layers import Dropout, Dense

model = Sequential()
model.add(Dense(64, activation='relu', input_dim=100))
model.add(Dropout(0.5))
model.add(Dense(64, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(10, activation='softmax'))

这段代码定义了一个含有两个隐藏层的神经网络，每个隐藏层都接上一个Dropout层。第一个Dropout层将50%的神经元失活，第二个Dropout层也是如此。

参考资料

1. Srivastava, Nitish, et al. "Dropout: A simple way to prevent neural networks from overfitting." Journal of Machine Learning Research 15.1 (2014): 1929-1958.
2. Goodfellow, Ian, et al. Deep learning. Vol. 1. Cambridge: MIT press, 2016.