google-cloud-ml - 如何在google-cloud-ml作业或Google Cloud Storage中加载numpy npz文件？

Question

我有一个google-cloud-ml作业，需要从gs存储桶加载numpy .npz文件。我遵循了this example上关于如何从gs加载.npy文件的操作，但是由于.npz文件已压缩，因此它对我不起作用。

这是我的代码:

from StringIO import StringIO
import tensorflow as tf
import numpy as np
from tensorflow.python.lib.io import file_io

f = StringIO(file_io.read_file_to_string('gs://my-bucket/data.npz'))
data = np.load(f)

这是错误消息:
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa2 in position 10: invalid start byte
显然，将数据编码为 str是不正确的，但是我不确定如何解决此问题。

可以帮忙吗？谢谢!

Answer 1

原来我需要在True中将二进制标志设置为file_io.read_file_to_string()。

这是工作代码:

from io import BytesIO
import tensorflow as tf
import numpy as np
from tensorflow.python.lib.io import file_io

f = BytesIO(file_io.read_file_to_string('gs://my-bucket/data.npz', binary_mode=True))
data = np.load(f)

这适用于压缩和未压缩的.npz文件。