python - 如何保存已在 Google Colab 笔记本中加载和处理的数据，以便不必每次都重新加载？

Question

我已经从 pickle 库中读到了有关“pickle”的内容，但这是否只保存您训练过的模型，而不是您从大型 csv 文件加载到变量中的实际数据帧？

Answer 1

This example notebook有一些保存和加载数据的不同方法的示例。

实际上，您可以使用pickle来保存任何Python对象，包括Pandas数据帧，但是更常见的是使用Pandas的方法之一pandas.DataFrame.to_csv进行序列化， to_feather 等

我可能会推荐使用 GCS 命令行工具的选项，您可以通过在笔记本中添加 ! 前缀来运行该工具

import pandas as pd
# Create a local file to upload.
df = pd.DataFrame([1,2,3])
df.to_csv("/tmp/to_upload.txt")

# Copy the file to our new bucket.
# Full reference: https://cloud.google.com/storage/docs/gsutil/commands/cp
!gsutil cp /tmp/to_upload.txt gs://my-bucket/