python - DataFrame.corr() - 使用相同的重复数据计算 PIL 逊线性相关性？

Question

x=[0.3, 0.3, 0.3, ..., 0.3](0.3 的数量:10)

y=x

x 和 y 之间的线性相关系数是多少？

对于此x 和y，所有对都指向同一点(0.3, 0.3)。我们可以说 x 和 y 是线性相关的吗？

scipy.stats.pearsonr(x, y) 会给你 Yes (1.0, 0.0)。但这有意义吗？

但是，如果我们将所有 0.3 更改为 3，scipy 将为您提供 No (NaN, 1.0)。为什么它与之前的(0.3)不同？和 float 的偏差有关吗？但如果我们使用 3.0 而不是 3，我们仍然会得到 No (NaN, 1.0)。有谁知道为什么不同的输入会产生不同的输出？

# When using 0.3:
# result: (1.0, 0.0)
import scipy.stats
a=[]
for i in range(10):
    a.append(0.3)
b=a
scipy.stats.pearsonr(a,b)



# When using int 3:
# result: (nan, 1.0)
import scipy.stats
a=[]
for i in range(10):
    a.append(3)
b=a
scipy.stats.pearsonr(a,b)



# When using 3.0:
# result: (nan, 1.0)
import scipy.stats
a=[]
for i in range(10):
    a.append(3.0)
b=a
scipy.stats.pearsonr(a,b)

请参阅上面的内联评论。

Answer 1

在一堆常量上使用 Pearson R 系数(假设数据呈正态分布)是一种数学上未定义的操作。

xm = x - x.mean()
ym = y - y.mean()
r = sum(xm * ym) / np.sqrt( sum(xm**2) * sum(ym**2) )

换句话说，如果数据没有变化，则除以零。

现在它适用于重复 float 0.3 的原因:

a = [0.3 for _ in range(10)] #note that single-decimal only 0.3 and 0.6 fail
b = [3.0 for _ in range(10)]
print(np.asarray(a).mean(), np.asarray(b).mean())
#0.29999999999999993 3.0
print(0.3 - 0.29999999999999993)
#5.551115123125783e-17

因此，凭借平均运算产生的这种微小的浮点偏差，可以计算一些东西，并且相关性可以固定为 1.0；虽然应用该方法仍然无效。