gpt4 book ai didi

python - Numpy Memmap Ctypes 访问

转载 作者:太空宇宙 更新时间:2023-11-03 12:01:19 28 4
gpt4 key购买 nike

我正在尝试使用一个非常大的 numpy 数组,使用 numpy memmap,将每个元素作为 ctypes 结构访问。

class My_Structure(Structure):
_fields_ = [('field1', c_uint32, 3),
('field2', c_uint32, 2),
('field3', c_uint32, 2),
('field4', c_uint32, 9),
('field5', c_uint32, 12),
('field6', c_uint32, 2),
('field7', c_uint32, 2)]

def __str__(self):
return f'MyStruct -- f1{self.field1} f2{self.field2} f3{self.field3} f3{self.field4} f5{self.field5} f6{self.field6} f7{self.field7}'

def __eq__(self, other):
for field in self._fields_:
if getattr(self, field[0]) != getattr(other, field[0]):
return False
return True

_big_array = np.memmap(filename = 'big_file.data',
dtype = 'uint32',
mode = 'w+',
shape = 1000000
)

big_array = _big_array.ctypes.data_as(ctypes.POINTER(My_Structure))

big_array[0].field1 = 5
...

它似乎工作正常,但我在 64 位 Windows 机器上遇到错误,其中 python.exe 只是停止。在事件查看器中,我看到故障模块名称是 _ctypes.pyd,异常代码是 0xc0000005,我认为这是一个访问异常。

我似乎没有在 Linux 上遇到同样的错误,尽管我的测试还不够彻底。

我的问题是:

  1. 我的访问看起来正确吗? IE。我是否正确使用了 numpy.memmap.ctypes.data_as

  2. 我在 My_Structure 上定义了函数(__str____eq__)是否改变了它的大小? IE。它仍然可以在数组中用作 uint32 吗?

  3. 您认为有什么可能导致此行为的吗?尤其是考虑到 Windows 和 Linux 之间的差异?

编辑:

  1. 在 big_array 元素上使用 ctypes.addressofctypes.sizeof,它看起来像 __str____eq__ 不影响 My_Structure

  2. 的大小
  3. 我在访问big_array之前添加了一些断言,发现我正在尝试访问big_array[-1],这解释了访问错误和崩溃.

这让问题 1 悬而未决:看起来我的代码在技术上是正确的,但我想知道是否有比使用 ctypes.pointer 更好的方法来访问 numpy 数组,这样我仍然可以获得使用numpy 数组(越界访问警告、负索引环绕等)。下面的 Daniel 建议使用结构化的 numpy 数组,但是可以用它进行位域访问吗?

最佳答案

您可以在最后一步转换为 ctypes,而不是第一步:

_big_array[0, ...].ctypes.data_as(ctypes.POINTER(My_Structure)).field1 = 5

注意 ... 需要将结果保存为 0d 数组,以便 .ctypes 属性存在

当然,负索引也可以正常工作:

_big_array[-1, ...].ctypes.data_as(ctypes.POINTER(My_Structure)).field1 = 5

Daniel below suggested using a structured numpy array, but is it possible to do bitfield access with this?

没有

关于python - Numpy Memmap Ctypes 访问,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47819785/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com