python - 如何将 .npy 文件直接写入 s3？

Question

我想知道是否有任何方法可以将数组作为 numpy 文件(.npy)直接写入 AWS S3 存储桶。我可以用 np.save将文件保存在本地，如下所示。但我正在寻找一种直接将其写入 S3 的解决方案，而无需先在本地保存。

a = np.array([1, 2, 3, 4])
np.save('/my/localfolder/test1.npy', a)

Answer 1

如果你想绕过你的本地磁盘，直接将数据上传到云端，你可能需要使用pickle而不是使用 .npy文件:

import boto3
import io
import pickle

s3_client = boto3.client('s3')

my_array = numpy.random.randn(10)

# upload without using disk
my_array_data = io.BytesIO()
pickle.dump(my_array, my_array_data)
my_array_data.seek(0)
s3_client.upload_fileobj(my_array_data, 'your-bucket', 'your-file.pkl')

# download without using disk
my_array_data2 = io.BytesIO()
s3_client.download_fileobj('your-bucket', 'your-file.pkl', my_array_data2)
my_array_data2.seek(0)
my_array2 = pickle.load(my_array_data2)

# check that everything is correct
numpy.allclose(my_array, my_array2)

文档:

boto3

pickle

BytesIO