python - 将 Pandas 数据帧输入 Tensorflow

Question

我正在尝试使用 Pandas 数据帧中的数据输入 Tensorflow 管道。我尝试这样做:

training_dataset = (tf.data.Dataset.from_tensor_slices((
         tf.cast(df[df.columns[:-1]].values, tf.float32),
         tf.cast(df[df.columns[-1]].values, tf.int32))))

其中df是我的数据框。然而它非常大，我得到了这个错误:

ValueError: Cannot create a tensor proto whose content is larger than 2GB. 

我应该拆分数据帧并创建多个张量数据集吗？这是否有效？解决这个问题的最佳方法是什么？我考虑过将数据输入 feed_dict，但我不知道如何去做。

Answer 1

无需手动拆分数据框。您可以使用 tf.placeholder 来避免达到 2GB graphdef 限制。使用 DataFrame.values 从数据帧创建 numpy 数组 看看这个 https://www.tensorflow.org/guide/datasets#consuming_numpy_arrays