google-cloud-storage - 从 Google Cloud Datalab 中的笔记本读取存储在 Google Cloud Storage 中 zip 文件中的数据

Question

我有一个 zip 文件，其中包含存储在 Google Cloud Storage 实例中的 zip 文件中的相对较大的数据集 (1Gb)。

我需要使用 Google Cloud Datalab 中托管的笔记本来访问该文件及其中包含的数据。我该怎么办？

谢谢。

Answer 1

你能尝试以下方法吗？

import pandas as pd

# Path to the object in Google Cloud Storage that you want to copy
sample_gcs_object = 'gs://path-to-gcs/Hello.txt.zip'

# Copy the file from Google Cloud Storage to Datalab
!gsutil cp $sample_gcs_object 'Hello.txt.zip'

# Unzip the file
!unzip 'Hello.txt.zip' 

# Read the file into a pandas DataFrame
pandas_dataframe = pd.read_csv('Hello.txt')