python - 缺少天气预报输出数据的 ConvNet

Question

我正在使用 ConvNet 构建模型来进行天气预报。我的输入数据是 96x144 矩阵(代表地理区域)的 10K 个样本，网格中每个点在固定高度处具有变量 Z(位势高度)的值。如果我包含 3 个不同的高度(Z 在不同高度上非常不同)，那么我有这个输入形状:(num_samples,96,144,3)。每小时采样一次，一个采样=一小时。我有近2年的数据。输入数据(Z)代表该小时的大气状态。

这可以被认为是具有 3 个 channel 的图像，但不是 0-256 范围内的像素值，而是具有更大范围内的 Z 值(最后一个 channel 的高度范围为 7500 到 9500，第一个 channel 的高度范围为 7500 到 9500)一个的范围是 500 到 1500 aprox)。

我想预测降水量(会下雨吗？就是这样，二元，是或否)。

在我国家的那个空间区域的网格中，我只有特定 (x,y) 点的输出数据(整个区域只有 122 个气象站有降雨数据)。只有 122 个 (x,y) 点，我的值为 1(那天下雨)或 0(没有)。

所以我的输出矩阵是一个 (num_samples,122) 向量，如果在该样本中(那个小时)下雨，则在站点索引中包含 1，如果没有下雨，则包含 0。

所以我混合使用了 VGG16 模型和这个 https://github.com/prl900/precip-encoder-decoders/blob/master/encoder_vgg16.py这是我在论文中找到的用于此特定应用程序的模型。

我想知道我是否以正确的方式构建模型，我只是更改了输入层以匹配我的形状，并更改了 FC 层的最后一层以匹配我的类(122，因为对于特定的输入样本，我希望有一个带有 0 或 1 的 1x122 矢量，具体取决于该站是否下雨，这是对的吗？)。而且由于概率不是互斥的(如果在多个站点下雨，我可以有很多 1)，我在最后一层使用了“sigmoid”激活。

我不知道在编译中使用哪个指标，并且 acc、mae 和分类 acc 在所有时期都保持相同(在第二个时期增加了一点，但之后，acc 和 val_acc 保持相同)对于每个时代)。

并且，在输出矩阵中存在空值(站点没有数据的小时数)，我只是用 -1 值填充 NaN(如“我不知道”标签)。这可能是因为什么都不起作用的原因？

感谢您的帮助，并对过度解释表示歉意。

def get_vgg16():
model = Sequential()

# Conv Block 1
model.add(BatchNormalization(axis=3, input_shape=(96,144,3)))
model.add(Conv2D(64, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(64, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))

# Conv Block 2
model.add(BatchNormalization(axis=3))
model.add(Conv2D(128, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(128, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))

# Conv Block 3
model.add(BatchNormalization(axis=3))
model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))

# Conv Block 4
model.add(BatchNormalization(axis=3))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))

# Conv Block 5
model.add(BatchNormalization(axis=3))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2)))

# FC layers
model.add(Flatten())
model.add(Dense(4096, activation='relu'))
model.add(Dense(4096, activation='relu'))
model.add(Dense(122, activation='sigmoid'))

#adam = Adam(lr=0.001)
sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='binary_crossentropy', optimizer=sgd, metrics=[metrics.categorical_accuracy,metrics.binary_accuracy, 'acc'])
print(model.summary())

return model

Answer 1

为了改进模型，需要考虑多种因素:

您选择的损失

你可以在这里做各种事情。使用 L2 损失(平方距离最小化)是一种选择，其中您的目标是每个站点无雨 (0) 或下雨 (1)。另一个(更准确的)选择是将每个输出视为该站下雨的概率。然后，您将应用二进制 cross entropy每个输出值的损失。

二元交叉熵只是应用于二分类问题的常规交叉熵。请注意，当只有两种可能的结果时，P(y) = 1 - P(x)。因此，您不需要添加任何额外的神经元。

掩盖损失

不要将缺失的目标设置为-1。这是没有意义的，只会给训练带来噪音。想象一下您正在使用 L2 损失。如果您的网络预测该值会下雨，则意味着 (1 - (-1))^2 = 4，这是一个非常高的预测误差。相反，您希望网络忽略这些情况。

您可以通过掩盖损失来做到这一点。假设您进行 Y = (num_samples, 122) 预测，并且具有形状相同的目标矩阵 T。您可以定义相同大小的二进制掩码 M，其中 1 表示您知道的值，0 表示缺失值位置。那么，你的损失将是 L = M * 损失(Y, T)。对于缺失值，损失始终为 0，没有梯度:不会从中学到任何东西。

标准化输入

normalize/standardize 始终是一个好习惯。输入。这避免了某些特征比其他特征具有更多相关性，从而加快了训练速度。在输入量级非常大的情况下，它还有助于稳定训练，防止梯度爆炸。

就您而言，您有三个 channel ，每个 channel 都遵循不同的分布(它具有不同的最小值和最大值)。在计算 min+max/mean+stdv 值时，您需要分别考虑每个 channel (高度)的所有样本上的数据，然后应用这两个值对所有样本上的相应 channel 进行归一化/标准化。也就是说，给定大小为 (N,96,144,3) 的张量，分别对大小为 (N,96,144,1) 的每个子张量进行归一化/标准化。您需要对测试数据应用相同的转换，因此请保存缩放值以供稍后使用。