python - 不用for循环将Keras模型输出转换为稀疏矩阵

Question

我有一个预训练的 keras 模型，其输出的维度为 [n, 4000](它对 4000 个类进行分类)。

我需要对测试数据(300K 观察值)进行预测。

但是当我调用方法 model.predict(X_train) 时，我得到一个用尽内存错误，因为我没有足够的 RAM 来存储矩阵形状 (300K , 4000)。

因此，将模型输出转换为稀疏矩阵是合乎逻辑的。

但是将 predict 方法 包装到 scipy 函数 sparse.csr_matrix 中不起作用 (sparse.csr_matrix(model.predict( X_train))), 因为它首先在RAM中为预测分配空间，然后才转换为稀疏矩阵。

我还可以对特定批处理的测试数据进行预测，然后使用forloop 进行转换。但在我看来，这不是最佳方式，而且非常耗费资源。

请指教，有没有其他方法可以将模型输出转换成稀疏矩阵？

Answer 1

predict() 中不是有batch_size 参数吗？

如果我弄对了，n 表示样本数对吗？

假设您的系统 ram 足以容纳整个数据，但 VRAM 不够。