python - 从行向量的迭代器构建一个大的 dask-backed xarray

Question

如何从行向量的迭代器构建 xarray。生成的数组可能比内存大，并将由 dask 数组支持。行向量还带有唯一标签，这些标签需要成为生成的 xarray 的行索引。在文档中，我只看到一个构造函数以内存中的 numpy 数组开头。

一个示例用例是将 word embedding model 存储为 xarray，并将单词作为行标签。这些模型通常提供一个迭代器，用于生成词汇表中所有单词的 (string, vector) 对。大多数模型都有 100 多个维度，词汇表中通常有 ~10^6 个单词。我想将向量堆叠成一个矩阵，以便执行线性代数运算，并且还能够按字符串查找行。

我希望能够写出类似这样的东西:

import numpy as np
import xarray as xr

vectors = (('V'+str(i), np.random.randn(10000)) for i in range(10**9))
xray = xarray_from_iter(vectors)
xray.to_parquet('big_xarray.parquet')
row1234567 = xray['V1234567']

xarray 是否提供类似xarray_from_iter 的东西？如果不是我怎么写呢？xarray_from_iter 应该像 numpy.fromiter除了它还应该标记行。它还需要延迟计算直到调用转储，因为整个问题是该数组大于内存。

Answer 1

TLDR； xarray 没有 from 迭代器构造函数。您必须自己构建 dask 阵列。

此外，xarray 没有 to_parquet 方法，因此(目前)您无法执行此操作。

这是一个示例，说明如何为您的用例构建 dask 数组(和 xarray.DataArray):

import dask.array
import xarray as xr
import numpy as np

num = 10

names = []
arrays = []
for i in range(num):
    names.append('V'+str(i))
    arrays.append(dask.array.random.random(10000, chunks=(1000,)))

da = xr.DataArray(data, dims=('model', 'sample'), coords={'model': names})

print(da)

产量:

<xarray.DataArray 'stack-ff07239b7ea24834ba59f2d05b7f41e2' (model: 10, 
sample: 10000)>
dask.array<shape=(10, 10000), dtype=float64, chunksize=(1, 1000)>
Coordinates:
  * model    (model) <U2 'V0' 'V1' 'V2' 'V3' 'V4' 'V5' 'V6' 'V7' 'V8' 'V9'
Dimensions without coordinates: sample

这不太可能有效，尤其是当迭代器的长度变大时(如您的示例)。在 dask github 问题页面上提出这样一个构造函数可能是值得的。