python - 为什么 numpy 的 fromiter 函数需要指定 dtype 而其他数组创建例程不需要？

Question

为了提高内存效率，我一直在尽可能地将我的一些代码从列表转换为生成器/迭代器。我发现很多情况下我只是将我制作的列表转换为 np.array使用代码模式 np.array(some_list) .

值得注意的是，some_list通常是在生成器上迭代的列表理解。

我正在调查 np.fromiter看看我是否可以更直接地使用生成器(而不是必须先将其转换为列表然后将其转换为 numpy 数组)，但我注意到 np.fromiter函数，不像任何其他使用现有数据的数组创建例程需要指定 dtype .

在我的大多数特殊情况下，我都能做到这一点(主要是处理对数似然，所以 float64 就可以了)，但这让我想知道为什么这只对 fromiter 是必需的数组创建者而不是其他数组创建者。

第一次尝试猜测:

内存预分配？

我的理解是，如果您知道 dtype和 count , 它允许将内存预分配给结果 np.array , 如果您不指定可选的 count论证它将“按需调整输出数组的大小”。但是，如果您不指定计数，您似乎应该能够推断出 dtype。以与正常 np.array 相同的方式即时运行打电话。

数据类型重铸？

我可以看到这对于将数据重新转换为新的 dtype 很有用s，但这也适用于其他数组创建例程，并且似乎值得将 placement 作为可选但不是必需的参数。

重述问题的几种方式

那么为什么需要指定 dtype使用 np.fromiter ;或者换句话说，指定 dtype 的好处是什么？数组是否要按需调整大小？

同一个问题的更微妙的版本，与我的问题更直接相关:我知道 np.ndarray 的许多效率提升当您不断调整它们的大小时，s 会丢失，因此使用 np.fromiter(generator,dtype=d) 可以获得什么？在 np.fromiter([gen_elem for gen_elem in generator],dtype=d)在 np.array([gen_elem for gen_elem in generator],dtype=d) ？

Answer 1

如果此代码是十年前编写的，并且没有更改它的压力，那么旧的原因仍然适用。大多数人都乐于使用 np.array。 np.fromiter 主要供那些试图从生成值的迭代方法中挤出一些速度的人使用。

我的印象是 np.array，主要的替代方案在决定数据类型(和其他属性)之前读取/处理整个输入:

我可以通过更改一个元素来强制返回一个 float :

In [395]: np.array([0,1,2,3,4,5])
Out[395]: array([0, 1, 2, 3, 4, 5])
In [396]: np.array([0,1,2,3,4,5,6.])
Out[396]: array([ 0.,  1.,  2.,  3.,  4.,  5.,  6.])

我不经常使用 fromiter，但我的感觉是通过要求 dtype，它可以从一开始就开始将输入转换为该类型。这最终可能会产生更快的迭代，尽管这需要时间测试。

我知道 np.array 的通用性需要一定的时间成本。通常对于小型列表，使用列表理解比将其转换为数组更快 - 即使数组操作很快。

一些时间测试:

In [404]: timeit np.fromiter([0,1,2,3,4,5,6.],dtype=int)
100000 loops, best of 3: 3.35 µs per loop
In [405]: timeit np.fromiter([0,1,2,3,4,5,6.],dtype=float)
100000 loops, best of 3: 3.88 µs per loop
In [406]: timeit np.array([0,1,2,3,4,5,6.])
100000 loops, best of 3: 4.51 µs per loop
In [407]: timeit np.array([0,1,2,3,4,5,6])
100000 loops, best of 3: 3.93 µs per loop

差异很小，但表明我的推理是正确的。需要 dtype 有助于使 fromiter 更快。 count 对这个小尺寸没有影响。

奇怪的是，为 np.array 指定一个 dtype 会减慢它的速度。就好像它附加了一个 astype 调用:

In [416]: timeit np.array([0,1,2,3,4,5,6],dtype=float)
100000 loops, best of 3: 6.52 µs per loop
In [417]: timeit np.array([0,1,2,3,4,5,6]).astype(float)
100000 loops, best of 3: 6.21 µs per loop

当我使用 range(1000)(Python3 生成器版本)时，np.array 和 np.fromiter 之间的差异更加显着

In [430]: timeit np.array(range(1000))
1000 loops, best of 3: 704 µs per loop

实际上，将范围转为列表更快:

In [431]: timeit np.array(list(range(1000)))
1000 loops, best of 3: 196 µs per loop

但是 fromiter 仍然更快:

In [432]: timeit np.fromiter(range(1000),dtype=int)
10000 loops, best of 3: 87.6 µs per loop

在整个数组上将 int 应用到 float 转换比在生成/迭代期间对每个元素应用更快

In [434]: timeit np.fromiter(range(1000),dtype=int).astype(float)
10000 loops, best of 3: 106 µs per loop
In [435]: timeit np.fromiter(range(1000),dtype=float)
1000 loops, best of 3: 189 µs per loop

请注意，astype 调整大小操作并不昂贵，仅需 20 µs 左右。

============================

array_fromiter(PyObject *NPY_UNUSED(ignored), PyObject *args, PyObject *keywds) 定义在:

https://github.com/numpy/numpy/blob/eeba2cbfa4c56447e36aad6d97e323ecfbdade56/numpy/core/src/multiarray/multiarraymodule.c

它处理 keywds 并调用PyArray_FromIter(PyObject *obj, PyArray_Descr *dtype, npy_intp count)在 https://github.com/numpy/numpy/blob/97c35365beda55c6dead8c50df785eb857f843f0/numpy/core/src/multiarray/ctors.c

这会使用定义的 dtype 创建一个初始数组 ret:

ret = (PyArrayObject *)PyArray_NewFromDescr(&PyArray_Type, dtype, 1,
                                            &elcount, NULL,NULL, 0, NULL);

此数组的 data 属性随着 50% 过度分配 => 0, 4, 8, 14, 23, 36, 56, 86 ... 增长，并在最后缩小以适合。

这个数组的 dtype，PyArray_DESCR(ret)，显然有一个函数可以接受 value(由迭代器 next 提供) ，转换它，并在 data 中设置它。

`(PyArray_DESCR(ret)->f->setitem(value, item, ret)`

换句话说，所有的数据类型转换都是由定义的数据类型完成的。如果代码“即时”决定如何转换 value(以及所有先前分配的值)，代码会复杂得多。此函数中的大部分代码处理分配 data 缓冲区。

我将暂缓查找 np.array。我敢肯定它要复杂得多。