python - keras.utils.np_utils.to_categorical 中的内存错误

Question

我有一个数据集，其中输出是 46226 个类别之一。我也有数百万个样本。

但 Keras/TensorFlow 似乎需要对输出进行单热编码。

问题是，np_utils.to_categorical(y_indices,num_classes) 导致内存不足错误，因为那时我需要一个 8000 x 46226 矩阵。

我工作的 PC 有 8G 内存，当我尝试执行 'numpy.zeros((8000,46226))' 时，它工作正常。但是当我将 y_indices 更改为 one-hot 编码时，出现以下错误:

    ------------------------------------------------------------------------
    MemoryError                            Traceback (most recent call last)
    <ipython-input-9-7b9df1cf8cee> in <module>()
    ----> 1 Y_cat = to_categorical(Y, num_classes=nb_classes)

    c:\program files\anaconda3\envs\python35\lib\site-packages\keras\utils\np_utils.py in to_categorical(y, num_classes)
         22     num_classes = np.max(y) + 1
         23     n = y.shape[0]
    ---> 24     categorical = np.zeros((n, num_classes))
         25     categorical[np.arange(n), y] = 1
         26     return categorical

    MemoryError: 

有没有办法让 Keras 解决这个问题？如果有人指出如何最好地做到这一点，我很乐意添加一些代码。

Answer 1

您实际上不需要单热编码标签，您可以使用具有 sparse_categorical_crossentropy 损失的整数标签，它接受整数标签。

这样就不会出现内存不足的错误。另一种方法是制作生成器(与 fit_generator 一起使用)和动态编码标签。