r - 如何快速将数据导入h2o

Question

我的问题不是:

• Efficient way to maintain a h2o data frame
• H2O running slower than data.table R
• Loading data bigger than the memory size in h2o

硬件/空间:

• 32 个 Xeon 线程，带 ~256 GB 内存
• 要上传约 65 GB 的数据。 (约 56 亿个细胞)

问题:
将我的数据上传到 h2o 需要几个小时。这不是任何特殊处理，只是“as.h2o(...)”。

使用“fread”不到一分钟就将文本放入空间，然后我进行了一些行/列转换(差异、滞后)并尝试导入。

在尝试任何类型的“as.h2o”之前，总 R 内存约为 56GB，因此分配的 128 应该不会太疯狂，不是吗？

问题:
我该怎么做才能让它在不到一个小时的时间内加载到 h2o 中？它应该需要一分钟到几分钟，而不是更长。

我尝试过的:

• 在“h2o.init”中将 ram 增加到 128 GB
• 使用 slam、data.table 和选项(...
• 在“as.h2o”之前转换为“as.data.frame”
• 写入 csv 文件(r write.csv 卡住并需要很长时间。虽然它正在写入大量 GB，所以我理解)。
• 写入 sqlite3，一个表的列太多，这很奇怪。
• 检查驱动器缓存/交换以确保那里有足够的 GB。也许java正在使用缓存。 (仍在工作)

更新:
所以看起来我唯一的选择是制作一个巨大的文本文件，然后为它使用“h2o.importFile(...)”。我最多写入15GB。

更新2:
这是一个可怕的 csv 文件，大约 22GB(~2.4 行，~2300 列)。值得一提的是，从中午 12 点 53 分一直到下午 2 点 44 分才写入 csv 文件。写入后，导入它的速度要快得多。

Answer 1

将 as.h2o() 视为一个方便的函数，它执行以下步骤:

1. 将您的 R 数据转换为 data.frame，如果还没有的话。
2. 将该 data.frame 保存到本地磁盘上的临时文件(如果可用，它将使用 data.table::fwrite() (*)，否则 write.csv())
3. 对该临时文件调用 h2o.uploadFile()
4. 删除临时文件

正如您的更新所说，将大量数据文件写入磁盘可能需要一段时间。但这里的另一个痛点是使用 h2o.uploadFile() 而不是更快的 h2o.importFile()。决定使用哪个是可见性:

• 使用 h2o.uploadFile()，您的客户端必须能够看到该文件。
• 使用 h2o.importFile()，您的集群必须能够看到该文件。

当您的客户端与您的集群节点之一在同一台机器上运行时，您的数据文件对客户端和集群都是可见的，因此始终首选 h2o.importFile()。 (它执行多线程导入。)

另外几个提示:只将数据导入 R session 中，您在那里确实需要。记住 R 和 H2O 都是面向列的，所以 cbind 可以很快。如果您只需要在 R 中处理 2300 列中的 100 列，请将它们放在一个 csv 文件中，并将其他 2200 列保留在另一个 csv 文件中。然后 h2o.cbind() 将它们分别加载到 H2O 中。

*:使用h2o:::as.h2o.data.frame(不带括号)查看实际代码。对于 data.table 写入，您需要先执行 options(h2o.use.data.table = TRUE);您还可以选择使用 h2o.fwrite 选项打开/关闭它。