r - 用于 R 的 HDBSCAN 因大型数据集而崩溃

Question

我尝试将 HDBSCAN 算法应用于我的数据集(50000 个 GPS 点)。但是，每次我运行代码时，R session 都会崩溃。

这是基本信息。关于我的电脑:

processor: Intel i7 7820x 3.6 GHz
memory: 120 GB
System: 64-bit Operating system, x64-based processor

这是我的数据框 (df) 的子集:

 Hour      lon    lat
   19:49:19 -73.97868 40.76272
   03:07:49 -74.00217 40.73429
   00:53:36 -74.00869 40.73819
   16:51:35 -73.94724 40.77943
   20:12:39 -73.86382 40.76952
   13:20:07 -74.00842 40.74652
   21:52:18 -74.00845 40.72110
   02:08:07 -73.93993 40.70765
   19:47:01 -73.98917 40.72040
   18:55:11 -74.00297 40.76039
   22:30:02 -73.97443 40.74751
   15:29:26 -73.96956 40.76112
   22:44:05 -73.97282 40.75642
   07:57:17 -73.99771 40.73627
   19:33:36 -73.95992 40.77361

这是我的 HDBSCAN 代码:

cl <- hdbscan(df[,2:3], minPts = 0.01 * 50000) # I want to keep the minpt = 1% of my total number of points


plot(df[,2:3], col=cl$cluster+1, pch=20) # plot the results

我试图减少原始数据集中的点数:

df1 <- sample_n(df,45000)
cl <- hdbscan(df1[,2:3], minPts = 0.01 * 45000) 


plot(df1[,2:3], col=cl$cluster+1, pch=20) 

这很好用。

我发现一旦总点数超过 50000，R 就开始崩溃。有什么解决办法吗？谢谢

Answer 1

这可能不是使用失败，而是模块中的编程失败。

看到这种大小的 32 位整数溢出是相当常见的，因为 50000² 不能存储在带符号的 32 位中。典型的截止值在 46341 左右。46342 是否有可能是第一个失败的大小？所以您可能需要重写该模块以使用 64 位计数器。当然，需要正确检测溢出。因此，您应该正确地提交错误报告，而不是在这样的问答论坛中提问。

作为解决方法，您可以尝试 Python 和 ELKI 的 HDBSCAN* 实现(如果它们的扩展性更好)。不必使用 32 位 mateixes。尽管如此，还是去报告错误吧!