python - 使用 kaggle api 将数据上传到 google bucket 并在 colab 中使用它

Question

我想在使用 colab 时使用来自 google bucket 的 kaggle 数据集。

第一:有没有办法通过kaggle api直接上传kaggle数据集到google bucket？

第二:如何在不复制到notebook的情况下使用colab中google bucket中的数据？

目前，我将 google bucket 与 colab 结合使用的经验是通过 URI 进行音频转录，例如:

gcs_uri = 'gs://bucket_name/file_name.wav'
audio = types.RecognitionAudio(uri=gcs_uri)

我猜我也可以做类似的事情，直接从 URI 将数据加载到 python pandas 数据框中。我使用 kaggle api 的经验是在我的本地机器上，例如:

kaggle competitions download -c petfinder-adoption-prediction

它使用 kaggle api 下载数据。如果我将数据加载到 colab notebook，它会在 session 之间被删除，所以我使用 google bucket 的目的是让它可用于多个 session 。

Answer 1

你可以 try this solution对于你的第一期。不确定 wget 是否可以用于您需要的数据集，但是 this suggests it's possible .但这不是通过 Kaggle API。

第二个问题，数据不拷贝到notebook上如何使用，其实可以mount the bucket as a disk to your instance .然后您就可以直接访问数据了。

因此，将它们放在一起，您可以在本地安装存储桶，然后将数据移入其中。然后您可以在笔记本中访问它。