java - ELKI for OPTICS Xi - 我可以让它运行得更快吗？

Question

我是 ELKI 的新手，并且我已经成功调整了我想要运行的算法。我在 3K 坐标上使用它并且速度非常快 - 所以现在我尝试扩展到大约 1 MM 记录。现在我的运行速度为 30K，但已经几个小时了，它仍在运行。

有什么方法可以提高性能吗？我注意到 java.exe *32 仅使用约 13% CPU 和 150KB 内存(机器为 2.8 GHz i7，32 GB RAM)

根据其他人之前的建议，我使用 pagesize 1024 来仅处理 2 维(经度/纬度)

直接从 Windows 命令行运行:

java -jar <path> cli 
-algorithm clustering.optics.OPTICSXi
-opticsxi.xi 0.006
-optics.minpts 5
-dbc.in <path> 
-db.index tree.spatial.rstarvariants.rstar.RStarTreeFactory 
-pagefile.pagesize 1024 
-spatial.bulkstrategy SortTileRecursiveBulkSplit 
-algorithm.distancefunction geo.LngLatDistanceFunction 
-geo.model WGS84SpheroidEarthModel 
-opticsxi.algorithm OPTICSHeap 
-resulthandler ResultWriter 
-out <path>

Answer 1

OPTICS 的运行时间与查询的选择性有关。

半径无穷大时，性能将为 O(n^2)。

尝试选择应用程序允许的尽可能小的-optics.epsilon。 OPTICS 越小，速度越快(带有索引)。但是，如果您使用太小的值(例如 1 米)，那么您可能会丢失数据的大规模结构。根据地理数据，距离确实有 20,000,000 米。但在许多应用中，其他内容上的点并不重要，10,000 m 或 100,000 m 的半径会产生显着的加速。

如果您的数据有噪音，您可能需要将 minPts 增加到例如最大数据集为 10 或 20。