amazon-web-services - 将文件从私有(private) S3 存储桶读取到 pandas 数据帧

Question

我正在尝试将 CSV 文件从私有(private) S3 存储桶读取到 Pandas 数据框:

df = pandas.read_csv('s3://mybucket/file.csv')

我可以从公共(public)存储桶中读取文件，但从私有(private)存储桶中读取文件会导致 HTTP 403: Forbidden 错误。

我已经使用 aws configure 配置了 AWS 凭证。

我可以使用 boto3 从私有(private)存储桶下载文件，它使用 aws 凭据。看来我需要配置 pandas 以使用 AWS 凭证，但不知道如何。

Answer 1

import pandas as pd
import boto3
from io import StringIO

# Read CSV
s3 = boto3.client('s3',endpoint_url,aws_access_key_id=,aws_secret_access_key)
read_file = s3.get_object(Bucket, Key)
df = pd.read_csv(read_file['Body'],sep=',')

# Write CSV
csv_buffer = StringIO()
df.to_csv(csv_buffer)
s3.put_object(Bucket, Key,Body=csv_buffer.getvalue())