gpt4 book ai didi

python - 将 pickle 文件写入 AWS 中的 s3 存储桶

转载 作者:太空狗 更新时间:2023-10-29 17:42:37 25 4
gpt4 key购买 nike

我正在尝试将 pandas 数据帧作为 pickle 文件写入 AWS 中的 s3 存储桶中。我知道我可以将数据帧 new_df 作为 csv 写入 s3 存储桶,如下所示:

bucket='mybucket'
key='path'

csv_buffer = StringIO()
s3_resource = boto3.resource('s3')

new_df.to_csv(csv_buffer, index=False)
s3_resource.Object(bucket,path).put(Body=csv_buffer.getvalue())

我已经尝试使用与上面相同的代码 to_pickle() 但没有成功。

最佳答案

除了您的回答,您不需要转换为 csv。pickle.dumps 方法返回一个字节对象。看这里:https://docs.python.org/3/library/pickle.html

import boto3
import pickle

bucket='your_bucket_name'
key='your_pickle_filename.pkl'
pickle_byte_obj = pickle.dumps([var1, var2, ..., varn])
s3_resource = boto3.resource('s3')
s3_resource.Object(bucket,key).put(Body=pickle_byte_obj)

关于python - 将 pickle 文件写入 AWS 中的 s3 存储桶,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49120069/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com