huggingface-datasets - 如何保存 Huggingface 数据集？

Question

如何将 HuggingFace 数据集写入磁盘？

我使用 JSONL 文件制作了自己的 HuggingFace 数据集:

Dataset({features: ['id', 'text'],num_rows: 18 })

我想将数据集持久化到磁盘。

有没有首选的方法来做到这一点？或者，是否是使用 joblib 或 pickle 等通用库的唯一选择？

Answer 1

您可以使用 save_to_disk() 方法将 HuggingFace 数据集保存到磁盘。

例如:

from datasets import load_dataset
  
test_dataset = load_dataset("json", data_files="test.json", split="train")

test_dataset.save_to_disk("test.hf")