python - 具有非线性趋势的去趋势通量时间序列

Question

我需要去除通量时间序列数据(光曲线)的趋势，但当时间序列数据没有简单的线性趋势时我遇到了问题。

我一直在使用 scipy.signal.detrend() 来消除线性情况的趋势，但这还不够。

我已经使用 numpy.polyfit() 尝试多项式去趋势化，但我不确定如何处理它返回的多项式系数。

有人可以建议我采取下一个明智的步骤吗？或者，如果有人有更好的方法来消除非线性数据的趋势，我也会很高兴听到。

Answer 1

简而言之，您获取 polyfit 返回的系数，并将它们传递给 polyval 以评估观察到的“x”位置处的多项式。

作为一个独立的例子，假设我们有类似下面的东西:

import numpy as np
import matplotlib.pyplot as plt

num = 1000
x = np.linspace(0, 10, num)
y = np.exp(x)

# Add some non-stationary noise that's hard to see without de-trending
noise = 100 * np.exp(0.2 * x) * np.random.normal(0, 1, num)
y += noise

fig, ax = plt.subplots()
ax.plot(x, y, 'ro')
plt.show()

请注意，我在这里没有使用多项式函数来创建 y。那是故意的。否则，我们会得到一个精确的拟合，并且不需要“玩弄”多项式的阶数。

现在让我们尝试使用二阶多项式函数去除趋势(注意 model = np.polyfit(x, y, 2) 行中的 2):

import numpy as np
import matplotlib.pyplot as plt

num = 1000
x = np.linspace(0, 10, num)
y = np.exp(x)

# Add some non-stationary noise that's hard to see without de-trending
noise = 100 * np.exp(0.2 * x) * np.random.normal(0, 1, num)
y += noise

# Detrend with a 2d order polynomial
model = np.polyfit(x, y, 2)
predicted = np.polyval(model, x)

fig, axes = plt.subplots(nrows=2, sharex=True)
axes[0].plot(x, y, 'ro')
axes[0].plot(x, predicted, 'k-')
axes[0].set(title='Original Data and 2nd Order Polynomial Trend')

axes[1].plot(x, y - predicted, 'ro')
axes[1].set(title='Detrended Residual')

plt.show()

---

请注意，我们没有完全拟合数据。这是一个指数函数，我们使用的是多项式。然而，随着我们增加多项式的阶数，我们将更精确地拟合函数(冒着开始拟合噪声的风险):