linux - 两列之间的 Pearson 相关性

Question

早上好。这是我的问题:我有几个文件，如下所示:

104 0.1697 12.3513214 15.9136214
112 -0.3146 12.0517303 14.8027303
122 0.2718 10.881109 13.259109
123 -0.4185 11.2880142 14.0237142
128 0.0205 13.0585763 15.4365763
132 0.1562 13.3956582 16.9579582
136 -0.4602 12.2567041 14.6347041
157 0.8142 13.6455927 17.2078927
158 -0.9244 8.0012967 11.5635967

大约 10000 个文件，每个文件有几行。 我需要在每个文件的第 2 列和第 4 列之间建立 Pearson 相关性。稍后，我需要对这些相关性进行平均。我想通过 Linux 命令来做所有事情。任何人都可以帮助我吗？谢谢

Answer 1

如果您安装了 GNU datamash:

datamash -W ppearson 2:4 < file.txt # or specify delimiter using -t

例子:

datamash -W ppearson 1:2 << EOF
1 1
2 4
3 3
EOF
0.65465367070798