Keras-定制层

Keras是一个高级神经网络API，使建立和训练深度学习模型变得简单。Keras提供了多种预定义层，如卷积层、池化层、循环层、Dropout等等。但是有时候预定义层并不能够满足我们的需求，这时候我们就需要用到Keras-定制层。

定制层可以让我们创建自定义的神经网络层，从而实现一些非常个性化的需求。在本文中，我们将主要探讨一下如何用Keras定制层。

实现一个简单的定制层

首先，我们先来看看如何实现一个简单的定制层。假设我们要创建一个将输入值进行平方的层，代码如下所示：

from keras.layers import Layer

class Square(Layer):
    def __init__(self, **kwargs):
        super(Square, self).__init__(**kwargs)

    def call(self, x):
        return x*x

我们首先从Keras的Layer类中继承，并将输入乘以自己，从而实现将输入平方的功能。需要注意的是，在我们的构造函数中调用了超类的构造函数。这是因为在这个例子中，我们可以省略它。但是，在定制层的实现中，通常需要调用超类的构造函数。

用定制层创建自定义模型

现在，我们来试试如何用定制层创建一个自定义的模型。我们将从一个简单的模型开始，它由两个全连接层和一个激活函数组成。代码如下所示：

from keras.layers import Input, Dense, Activation
from keras.models import Model

inputs = Input(shape=(100,))
x = Dense(64)(inputs)
x = Activation('relu')(x)
x = Dense(64)(x)
predictions = Activation('softmax')(x)

model = Model(inputs=inputs, outputs=predictions)

好的，现在我们来尝试添加我们的Square定制层。我们只需将其添加到模型中的适当位置即可。下面是修改过的代码。

from keras.layers import Input, Dense, Activation
from keras.models import Model
from keras.layers import Layer

class Square(Layer):
    def __init__(self, **kwargs):
        super(Square, self).__init__(**kwargs)

    def call(self, x):
        return x*x

inputs = Input(shape=(100,))
x = Dense(64)(inputs)
x = Activation('relu')(x)
x = Dense(64)(x)
x = Square()(x)   # 此处加入定制层
predictions = Activation('softmax')(x)

model = Model(inputs=inputs, outputs=predictions)

现在，我们在模型中添加了一个Square层。

从定制层中输出属性

我们还可以实现从定制层中输出一些属性。例如，我们可以从某些中间层中输出一些中间结果。代码如下所示：

from keras.layers import Input, Dense, Activation
from keras.models import Model
from keras.layers import Layer

class DenseWithActivation(Layer):

    def __init__(self, output_dim, activation, **kwargs):
        self.output_dim = output_dim
        self.activation = activation
        super(DenseWithActivation, self).__init__(**kwargs)

    def build(self, input_shape):
        self.kernel = self.add_weight(name='kernel', 
                                      shape=(input_shape[1], self.output_dim),
                                      initializer='uniform',
                                      trainable=True)
        super(DenseWithActivation, self).build(input_shape)

    def call(self, x):
        output = K.dot(x, self.kernel)
        if self.activation is None:
            return output
        else:
            return self.activation(output)

    def compute_output_shape(self, input_shape):
        return (input_shape[0], self.output_dim)


inputs = Input(shape=(100,))
x = DenseWithActivation(64, 'relu')(inputs)
x = DenseWithActivation(64, 'relu', name='my_dense')(x)
predictions = Dense(10, activation='softmax')(x)

model = Model(inputs=inputs, outputs=predictions)

outputs = model.get_layer(name='my_dense').output
intermediate_model = Model(inputs=model.input,
                           outputs=outputs)

在这个例子中，我们定义了一个带激活函数的全连接层。它不仅输出传递给它的输入向量的加权和，还应用了一个激活函数。我们可以将其称为“DenseWithActivation”定制层。

我们还覆盖了compute_output_shape()方法，这是一个Keras层对象的类方法。这个方法是负责输出形状的计算。这里，我们将输出形状设置为(input_shape[0], self.output_dim)。这表示输出的样本数与输入的样本数相同，但输出维度与DenseWithActivation对象的output_dim属性相同。

我们最后定义了一个新的模型，其中my_dense层是输出模型的一个中间层。我们可以使用intermediate_model对象来访问这个中间的输出。

总结

这篇文章主要讲解了如何使用Keras定制层。我们主要关注了如何用定制层创建自定义层和模型。我们还学习了如何从定制层中输出属性。但它远远不止于此。Keras的自定义层API非常灵活，可以实现许多不同的功能。 Keras还提供了一系列的backend函数，使您可以自由地执行复杂的操作。