python - 在 AWS Sagemaker 中使用 python pandas 从 S3 存储桶中读取大型 csv

Question

我正在尝试从 S3 存储桶将大型 CSV (~5GB) 加载到 pandas 中。

以下是我为 1.4 kb 的小型 CSV 尝试的代码:

client = boto3.client('s3') 
obj = client.get_object(Bucket='grocery', Key='stores.csv')
body = obj['Body']
csv_string = body.read().decode('utf-8')
df = pd.read_csv(StringIO(csv_string))

这对于小型 CSV 效果很好，但是我无法通过它实现将 5GB csv 加载到 pandas 数据帧的要求(可能是由于通过 StringIO 加载 csv 时的内存限制)。

我也试过下面的代码

s3 = boto3.client('s3')
obj = s3.get_object(Bucket='bucket', Key='key')
df = pd.read_csv(obj['Body'])

但这给出了以下错误。

ValueError: Invalid file path or buffer object type: <class 'botocore.response.StreamingBody'>

非常感谢解决此错误的任何帮助。

Answer 1

我知道这已经很晚了，但这里有一个答案:

import boto3
bucket='sagemaker-dileepa' # Or whatever you called your bucket
data_key = 'data/stores.csv' # Where the file is within your bucket
data_location = 's3://{}/{}'.format(bucket, data_key)
df = pd.read_csv(data_location)