r - 如何在 R 中为非常大的数据集使用 poweRlaw 包？

Question

我正在为 4500 万行向量拟合幂律，为此我在 R 中使用 poweRlaw 包:https://arxiv.org/pdf/1407.3492.pdf

该过程中计算量最大的部分是估计下限，这是通过 estimate_xmin() 函数完成的。这需要很多时间。

代码如下(w 是向量，c_pl 来自“连续幂律”):

c_pl <- conpl$new(w)
est <- estimate_xmin(c_pl)
c_pl$setXmin(est)

我想知道如何以最小化处理时间的方式使用 estimate_xmin() 函数(也许是并行计算？)我正在使用具有 16 个内核和 64GB RAM 的 AWS 实例。谢谢。

Answer 1

estimate_xmin 花费这么长时间的原因是因为它正在尝试 xmin 的所有可能值。该函数有一个参数 xmins，您可以使用它来截断此搜索，例如

estimate_xmin(m, xmins=c(10, 100, 1000, 10000))

将从 10、100、1000 和 10000 中找出最佳的 xmin。