r - TraMineR 的并行计算

Question

我有一个包含超过 250,000 个观察值的大型数据集，我想使用 TraMineR 包进行分析。特别是，我想使用命令 seqtree 和 seqdist，当我使用 10,000 个观测值的子样本时，它们可以正常工作。我的计算机可以管理的限制是大约 20,000 个观察值。

我想使用所有的观察结果，并且我确实可以使用一台 super 计算机，它应该能够做到这一点。然而，这并没有多大帮助，因为该进程仅在单个核心上运行。因此我的问题是，是否可以将并行计算技术应用于上述命令？或者有其他方法可以加快这个过程吗？任何帮助将不胜感激!

Answer 1

内部seqdist函数是用C++编写的，并且有许多优化。因此，如果你想并行化 seqdist，你需要用 C++ 来完成。该循环位于源文件“distancefunctions.cpp”中，您需要查看函数“cstringdistance”中第 300 行附近的两个循环(抱歉，所有注释都是法语)。不幸的是，第二个重要的优化是所有计算之间共享内存。因此，我认为并行化会非常复杂。

除了选择示例之外，您还应该考虑以下优化:

• 相同序列的聚合(参见此处:Problem with big data (?) during computation of sequence distances using TraMineR)
• 如果相关，您可以尝试减小时间粒度。距离计算时间高度依赖于序列长度 (O^2)。请参阅https://stats.stackexchange.com/questions/43601/modifying-the-time-granularity-of-a-state-sequence
• 降低时间粒度还可能会增加相同序列的数量，从而增加优化一的影响。
• seqdist 中有一个隐藏选项，可以使用最佳匹配算法的优化版本。它仍处于测试阶段(这就是它被隐藏的原因)，但它应该在未来版本中取代实际算法。要使用它，请设置 method="OMopt"，而不是 method="OM"。根据您的序列，它可能会减少计算时间。