python - 将 Pandas DataFrame 写入 Google Cloud Storage 或 BigQuery

Question

您好，感谢您的时间和考虑。我正在 Google Cloud Platform/Datalab 中开发 Jupyter Notebook。我创建了一个 Pandas DataFrame，并希望将此 DataFrame 写入 Google Cloud Storage(GCS) 和/或 BigQuery。我在 GCS 中有一个存储桶，并通过以下代码创建了以下对象:

import gcp
import gcp.storage as storage
project = gcp.Context.default().project_id    
bucket_name = 'steve-temp'           
bucket_path  = bucket_name   
bucket = storage.Bucket(bucket_path)
bucket.exists()  

我根据 Google Datalab 文档尝试了各种方法，但仍然失败。谢谢

Answer 1

上传到谷歌云存储而不写入临时文件，只使用标准 GCS 模块

from google.cloud import storage
import os
import pandas as pd

# Only need this if you're running this code locally.
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = r'/your_GCP_creds/credentials.json'

df = pd.DataFrame(data=[{1,2,3},{4,5,6}],columns=['a','b','c'])

client = storage.Client()
bucket = client.get_bucket('my-bucket-name')
    
bucket.blob('upload_test/test.csv').upload_from_string(df.to_csv(), 'text/csv')