python-3.x - 尴尬的数组 : How to get numpy array after storing as Parquet (not BitMasked)?

Question

我想将不同长度的二维数组存储为 AwkwardArray，将它们存储为 Parquet，然后再次访问它们。
问题是，从 Parquet 加载后，格式是 BitMaskedArray并且访问性能有点慢。由以下代码演示:

import numpy as np
import awkward as awk

# big to feel performance (imitating big audio file); 2D
np_arr0 = np.arange(20000000, dtype=np.float32).reshape(2, -1)
print(np_arr0.shape)
# (2, 10000000)
# different size
np_arr1 = np.arange(20000000, 36000000, dtype=np.float32).reshape(2, -1)
print(np_arr1.shape)
# (2, 8000000)

# slow; turn into AwkwardArray
awk_arr = awk.fromiter([np_arr0, np_arr1])

# fast; returns np.ndarray
awk_arr[0][0]

# store and load from parquet
awk.toparquet("sample.parquet", awk_arr)
pq_array = awk.fromparquet("sample.parquet")

# kinda slow; return BitMaskedArray
pq_array[0][0]

如果我们检查退货，我们会看到:

pq_array[0][0].layout
#  layout 
# [    ()] BitMaskedArray(mask=layout[0], content=layout[1], maskedwhen=False, lsborder=True)
# [     0]   ndarray(shape=1250000, dtype=dtype('uint8'))
# [     1]   ndarray(shape=10000000, dtype=dtype('float32'))

#   trying to access only float32 array [1]
pq_array[0][0][1]
# expected
# array([0.000000e+00, 1.000000e+00, 2.000000e+00, ..., 9.999997e+06, 9.999998e+06, 9.999999e+06], dtype=float32)

# reality
# 1.0

题

如何从 Parquet 加载 AwkwardArray 并快速访问 numpy 值？

来自 README (GitHub) 的信息

awkward.fromparquet is lazy-loading the Parquet file.

很好，这在做时会有所帮助，例如 pq_array[0][0][:1000]

The next layer of new structure is that the jagged array is bit-masked. Even though none of the values are nullable, this is an artifact of the way Parquet formats columnar data.

我想没有办法解决这个问题。但是，这就是加载有点慢的原因吗？我还能以 numpy.ndarray 的身份访问数据吗？通过直接访问它(没有位掩码)？

额外的尝试

用 Arrow 加载它，然后是 Awkward:

import pyarrow as pa
import pyarrow.parquet as pq

# Parquet as Arrow
pa_array = pq.read_table("sample.parquet")

# returns table instead of JaggedArray
awk.fromarrow(pa_array)
# <Table [<Row 0> <Row 1>] at 0x7fd92c83aa90>

Answer 1

在 Arrow 和 Parquet 中，所有数据都可以为 null，因此 Arrow/Parquet 编写者可以随意在任何他们想要的地方加入位掩码。在读回数据时，Awkward 必须将这些位掩码视为有意义的(将它们映射到 awkward.BitMaskedArray )，但它们可能都是有效的，尤其是当您知道没有将任何值设置为 null 时。 .

如果你愿意忽略位掩码，你可以通过调用

pq_array[0][0].content

至于慢，我可以说

import awkward as ak

# slow; turn into AwkwardArray
awk_arr = ak.fromiter([np_arr0, np_arr1])

会变慢，因为 ak.fromiter是少数用 Python for 循环实现的函数之一——用 Python for 循环迭代 NumPy 数组中超过 1000 万个值会很痛苦。您可以手动构建相同的东西

>>> ak_arr0 = ak.JaggedArray.fromcounts([np_arr0.shape[1], np_arr0.shape[1]],
...                                     np_arr0.reshape(-1))
>>> ak_arr1 = ak.JaggedArray.fromcounts([np_arr1.shape[1], np_arr1.shape[1]],
...                                     np_arr1.reshape(-1))
>>> ak_arr = ak.JaggedArray.fromcounts([len(ak_arr0), len(ak_arr1)],
...                                    ak.concatenate([ak_arr0, ak_arr1]))

至于 Parquet 慢，我说不出原因:它可能与页面大小或行组大小有关。由于 Parquet 是一种“中等重量”的文件格式(介于 HDF5 等“重量级”和 npy/npz 等“轻量级”之间)，它有一些可调参数(不是很多)。

您可能还想考虑

ak.save("file.awkd", ak_arr)
ak_arr2 = ak.load("file.awkd")

这实际上只是带有 JSON 元数据的 npy/npz 格式，用于将 Awkward 数组映射到平面 NumPy 数组或从平面 NumPy 数组映射。对于此示例， file.awkd是 138 MB。