python - Numpy 高精度

Question

我正在使用 numpy 和 pyfits 来操作光谱，我需要高精度(大约 8-10 位小数的值可能高达 10^12)。为此，数据类型“decimal”将是完美的(float64 不够好)，但不幸的是 numpy.interp 不喜欢它:

File ".../modules/manip_fits.py", line 47, in get_shift
pix_shift = np.interp(x, xp, fp)-fp
File "/usr/lib/python2.7/dist-packages/numpy/lib/function_base.py", line 1053, in interp
return compiled_interp(x, xp, fp, left, right)
TypeError: array cannot be safely cast to required type

我使用的代码的简化版本:

fp = np.array(range(new_wave.shape[-1]),dtype=Decimal)
pix_shift = np.empty_like(wave,dtype=Decimal)
      x = wave
  xp = new_wave
 pix_shift = np.interp(x, xp, fp)-fp

其中“wave”和“new_wave”是表示一维光谱的一维 numpy 数组。需要此代码才能沿 x 轴(即波长)移动我的光谱

我最大的问题是，在代码的更下方，我将我的光谱除以由我所有光谱的总和构建的模板光谱，以便分析差异，但由于我没有足够的小数位，因此出现舍入误差。有什么想法吗？

谢谢!

更新:

测试示例:

import numpy as np
from decimal import *
getcontext().prec = 12

wave = np.array([Decimal(xx*np.pi) for xx in range(0,10)],dtype=np.dtype(Decimal))
new_wave = np.array([Decimal(xx*np.pi+0.5) for xx in range(0,10)],dtype=np.dtype(Decimal))

fp = np.array(range(new_wave.shape[-1]),dtype=Decimal)
pix_shift = np.empty_like(wave,dtype=Decimal)

x = wave
xp = new_wave
pix_shift = np.interp(x, xp, fp)-fp

错误是:

Traceback (most recent call last):
  File "untitled.py", line 16, in <module>
    pix_shift = np.interp(x, xp, fp)-fp
  File "/usr/lib/python2.7/dist-packages/numpy/lib/function_base.py", line 1053, in interp
    return compiled_interp(x, xp, fp, left, right)
TypeError: array cannot be safely cast to required type

这是我在不使用拟合格式的真实光谱的情况下所能提供的最接近的结果。

更新 2:我的光谱的一些典型值，使用十进制打印:

  18786960689.118938446044921875
  18473926205.282184600830078125
  18325454516.792461395263671875
  18400241010.149127960205078125
2577901751996.03857421875
2571812230557.63330078125
2567431795280.80712890625

我遇到的问题是，当我在它们之间进行操作时，会出现舍入错误。例如，我通过对所有光谱求和来为所有光谱创建一个模板。然后我使用这个模板对每个光谱进行归一化。一个例子:

Spectra = np.array([Spectrum1, Spectrum2, ...])
Template = np.nansum(Spectra, axis= 0)

NormSpectra = Spectra/Template

这应该只返回光谱上的噪声(假设模板很好地代表了恒星)。我尝试将每个光谱归一化为其总通量

(Spectrum1 = Spectrum1/np.nansum(Spectrum1), ...) 

以及模板，但舍入错误会更糟。

使用 Decimal 对我来说效果很好，但我需要“移动”我的光谱，以便所有光谱特征/谱线对齐。

希望这是有道理的？

Answer 1

你如何确定 np.float64？在典型的用例中，人们可以预期 double 约为 15 位有效数字。

如果您确定这还不够，您可以尝试np.float128(又名np.longdouble)。

但是您的问题似乎比这更深:它似乎是一个病态问题(大数除以小数通常是)。这不是你想要的。提高精度应该可以在一定程度上解决问题，但是您会遇到一些需要 float256/float512/etc 的数据。以避免病理性舍入错误。

我建议您解释您的问题，而不是您的解决方案，这样我们就有希望找到另一种方法来解决所有情况 (XY Problem)。