machine-learning - cnn max pooling - 非连续滑动窗口(类似跳过克)？

Question

当使用 keras 构建一个简单的 cnn(如下面的代码)以及当它用于基于文本的问题(例如文档分类)时，我理解这就像我们从文本中提取 4-gram(kernel_size 为 4) )并将它们用作特征。

    model = Sequential()
    model.add(embedding_layer)
    model.add(Conv1D(filters=100, kernel_size=4, padding='same', activation='relu'))
    model.add(MaxPooling1D(pool_size=4))      
    model.add(Dense(4, activation='softmax'))
    model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

在这种情况下，conv1D 层中的内核大小就像一个大小为 4 的滑动窗口，它遍历文本中的标记序列以发出 4-gram。

我想知道是否有一种方法可以在卷积中创建“非连续滑动窗口”，即生成“skip-gram”等价物。例如，给定以下一维向量:

[a, b, c, d, e, f]

kernel_size=3、skip=1 的 conv1d 将扫描以下序列:

[(a,c,d),(b,d,e),(c,e,f),(d,f,padding),(e,padding,padding)] union [(a,b,d),(b,c,e),(c,d,f),(d,e,padding),(e,f,padding),(f,padding,padding)]

我说“union”的原因只是因为我认为从实现的角度来看，生成第 1 部分或第 2 部分可能更容易，为修改后的 conv1d 层提供另一个参数。如果情况确实如此并且可行，我可以通过连接多个层来解决这个问题。但至少要有一个扩展的 conv1d 层，它需要额外的参数，以便它执行扫描的第一部分或第二部分。

这个想法并不新鲜，因为本文已经对此进行了实验:http://www.aclweb.org/anthology/D/D16/D16-1085.pdf

但是请原谅我对 keras 缺乏深入的了解，我不知道如何实现它。如有任何建议，请，

提前非常感谢

Answer 1

您可以创建一个自定义卷积层，其中权重矩阵中的某些元素为零。

您可以将常规的 Conv1D 图层作为基类。

但在执行此操作之前，请注意，您可以在创建常规卷积层时通过传递 dilation_rate=n 参数来创建“扩张”卷积。这将在窗口中每个获取的克之间跳过 n-1 克。您的窗口将具有固定的规则空间。

为此创建自定义层:

import keras.backend as K


#a 1D convolution that skips some entries
class SkipConv1D(Conv1D):

    #in the init, let's just add a parameter to tell which grams to skip
    def __init__(self, validGrams, **kwargs):

        #for this example, I'm assuming validGrams is a list
        #it should contain zeros and ones, where 0's go on the skip positions
        #example: [1,1,0,1] will skip the third gram in the window of 4 grams   
        assert len(validGrams) == kwargs.get('kernel_size')
        self.validGrams = K.reshape(K.constant(validGrams),(len(validGrams),1,1))
            #the chosen shape matches the dimensions of the kernel
            #the first dimension is the kernel size, the others are input and ouptut channels


        #initialize the regular conv layer:
        super(SkipConv1D,self).__init__(**kwargs)

        #here, the filters, size, etc, go inside kwargs, so you should use them named
        #but you may make them explicit in this __init__ definition
        #if you think it's more comfortable to use it like this


    #in the build method, let's replace the original kernel:
    def build(self, input_shape):

        #build as the original layer:
        super(SkipConv1D,self).build(input_shape)

        #replace the kernel   
        self.originalKernel = self.kernel
        self.kernel = self.validGrams * self.originalKernel

请注意此答案中未考虑的一些事项:

方法get_weights()仍将返回原始内核，而不是具有跳过掩码的内核。 (可以解决这个问题，但是会有额外的工作，如果需要，请告诉我)

该层中存在未使用的权重。这是一个简单的实现。这里的重点是使其尽可能与现有的 Conv 层及其所有功能最相似。也可以仅使用严格必要的权重，但这会大大增加复杂性，并且需要大量重写 keras 原始代码以重新创建所有原始可能性。

如果你的kernel_size太长，定义validGrams变量会很无聊。您可能想要创建一个版本，该版本采用一些跳过的索引，然后将其转换为上面使用的列表类型。

不同的 channel 跳过不同的克数:

如果您不使用形状为 (length,) 的 validGrams，而是使用形状为 (长度，输出过滤器)。

在这种情况下，在创建 validGrams 矩阵时，我们应该将其 reshape 为:

validGrams = np.asarray(validGrams)
shp = (validGrams.shape[0],1,validGrams.shape[1])
validGrams = validGrams.reshape(shp)
self.validGrams = K.constant(validGrams)

您还可以简单地使用许多具有不同参数的并行SkipConv1D，然后连接它们的结果。

inputs = Input(yourInputShape)
out = embedding_layer(inputs)

out1 = SkipConv1D(filters=50,kernel_size=4,validGrams=[1,0,1,1])(out)
out2 = SkipConv1D(filters=50,kernel_size=4,validGrams=[1,1,0,1])(out)

out = Concatenate()([out1,out2]) #if using 'channels_first' use Concatenate(axis=1)
out = MaxPooling1D(pool_size=4)(out)
out = Dense(4, activation='softmax')(out)

model = Model(inputs,out)