python - 使用python修改fits文件时出现错误 "buffer is too small for requested array"

Question

我正在尝试从初始 template.fits 创建一个新的拟合文件

这个 template.fits 的语音 1 的表有 3915 行，而我的新文件必须有超过 50000 行。

部分代码如下:

hdulist = fits.open('/Users/Martina/Desktop/Ubuntu_Condivisa/Post_Doc_IAPS/ASTRI/ASTRI_scienceTools/Astrisim_MC/template.fits') 

hdu0=hdulist[0]

hdu0.writeto(out_pile+'.fits', clobber=True)  

hdu1=hdulist[1]

hdu1.header['NAXIS2'] = na           

hdu1.header['ONTIME'] = tsec              

hdu1.header['LIVETIME'] = tsec       

hdu1.writeto(out_pile+'.fits', clobber=True) 

hdu1_data=hdu1.data              

for j in range(na-1):

  hdu1_data[j+1][1]=j+1

  hdu1_data[j+1][3]=t[j]+0.

  hdu1_data[j+1][7]=ra[j]

  hdu1_data[j+1][8]=dec[j]

  hdu1_data[j+1][21]=enetot[j]

hdu1.writeto(out_pile+'.fits', clobber=True)

当我尝试填充新表(代码的最后一部分)时，错误如下:

Traceback (most recent call last):  File "C:\Users\Martina\AppData\Local\Programs\Python\Python36\lib\site-packages\astropy\utils\decorators.py", line 734, in __get__    return obj.__dict__[self._key]KeyError: 'data'During handling of the above exception, another exception occurred:Traceback (most recent call last):  File "Astrisim_MC_4.py", line 340, in     hdu1_data=hdu1.data                File "C:\Users\Martina\AppData\Local\Programs\Python\Python36\lib\site-packages\astropy\utils\decorators.py", line 736, in __get__    val = self.fget(obj)  File "C:\Users\Martina\AppData\Local\Programs\Python\Python36\lib\site-packages\astropy\io\fits\hdu\table.py", line 404, in data    data = self._get_tbdata()  File "C:\Users\Martina\AppData\Local\Programs\Python\Python36\lib\site-packages\astropy\io\fits\hdu\table.py", line 171, in _get_tbdata    self._data_offset)  File "C:\Users\Martina\AppData\Local\Programs\Python\Python36\lib\site-packages\astropy\io\fits\hdu\base.py", line 478, in _get_raw_data    return self._file.readarray(offset=offset, dtype=code, shape=shape)  File "C:\Users\Martina\AppData\Local\Programs\Python\Python36\lib\site-packages\astropy\io\fits\file.py", line 279, in readarray    buffer=self._mmap)TypeError: buffer is too small for requested array

我尝试改变行数，代码最多可正常工作 3969 行。

如何解决这个问题？

提前非常感谢您，

干杯!

玛蒂娜

Answer 1

您最初的问题是在哪里执行此操作的:

hdu1.header['NAXIS2'] = na 

很自然地认为您可能能够做到，但实际上不应该这样做。一般来说，在使用 astropy.io.fits 时，几乎不应该手动弄乱 FITS header 中描述数据本身结构的关键字。这部分源于 FITS 本身的设计 - 它将这些结构性关键字与元数据关键字混合在一起 - 部分源于 astropy.io.fits 的设计问题它可以让您完全操纵这些关键字，或者它不会更紧密地将数据与它们联系起来。我在这里更详细地讨论了这个问题:https://github.com/astropy/astropy/issues/3836但从未抽出时间在文档中添加更多对此的解释。

基本上，您可以想到的方式是，当打开 FITS 文件时，首先读取其 header 并将其解析为包含所有 header 关键字的 Header 对象。还进行了一些簿记工作，以跟踪文件中 header 后面有多少数据。然后，当您访问 HDU 的数据时， header 关键字用于确定数据的类型和形状。所以通过做类似的事情

hdu1.header['NAXIS2'] = na
hdu1_data = hdu1.data

这并不是以某种方式增长文件中的数据。相反，它只是让人困惑，认为文件中的数据行比实际的数据行多，因此出现错误“缓冲区对于请求的数组来说太小”。在这种情况下，它引用的“缓冲区”是文件中的其余数据，并且您请求它读取比文件中数据长的数组。

事实上，它允许你完全打破这个在我看来是Astropy中的一个错误。当文件第一次打开时，它应该在后台保存所有正确的结构关键字，这样即使用户不小心修改了这些关键字，数据仍然可以正确加载(或者用户应该是 completely prevented from modifying these keywords directly 。

要解释哪里出了问题，需要很长的时间，但也许它会有助于更好地理解该库的工作原理。

至于你的实际问题，我认为@Evert的建议很好，使用更高级别并且更容易使用astropy.table创建一个您需要大小的新表，然后将现有表复制到新表中。您可以使用 Table.read 直接将 FITS 表作为 Table 对象打开。我认为您也可以复制 FITS 元数据，但我不确定最好的方法。

与您的主要问题无关的另一个小评论 - 在使用数组时，您不必(实际上不应该)使用 for 循环来执行可矢量化操作。

例如，因为这只是循环数组索引:

对于范围 (na-1) 内的 j: hdu1_data[j+1][1]=j+1 hdu1_data[j+1][3]=t[j]+0。 hdu1_data[j+1][7]=ra[j] hdu1_data[j+1][8]=dec[j] hdu1_data[j+1][21]=enetot[j]

你可以这样编写操作:

hdu1_data[:][1] = np.arange(na)
hdu1_data[:][3] = t + 0.
hdu1_data[:][7] = ra

等等(我不确定你为什么要这样做j+1，因为这会跳过第一行，但这一点仍然成立)。当然，这假设正在更新的数组(在本例中为 hdu1_data)已经有 na 行。但这就是为什么如果数组还没有达到这个大小，您需要首先增长或连接到数组。