python - 在 python 中从 S3 加载 npy 文件

Question

有没有办法在 numpy 中加载/读取外部文件(即 AWS S3)？我在 S3 中存储了几个 npy 文件。我试图通过 S3 预签名 url 访问它们，但似乎 numpy.load 方法或 np.genfromtxt 都无法读取它们。

我不想将文件保存在本地文件系统上，然后将它们加载到 numpy 上。

有什么想法吗？

Answer 1

使用 s3fs

import numpy as np
from s3fs.core import S3FileSystem
s3 = S3FileSystem()

key = 'your_file.npy'
bucket = 'your_bucket'

df = np.load(s3.open('{}/{}'.format(bucket, key)))

根据要读取的文件，您可能必须设置 allow_pickle=True。