java - Apache 点燃 IGFS : Start reading large file before write completes

Question

我有一个用例，我可能会将 100 G 文件写入我的新 IGFS 存储。我想在文件末尾完成写入之前开始读取文件的开头，因为写入 100G 可能需要一两分钟。

由于我无法加速我的硬件，我想通过在关闭写入流之前开始读取文件来加速软件。我已经写了几GB，所以有足够的数据可以开始读取。不过，当我为这种情况编写一个简单的测试时，我会抛出一个异常，因为当我仍在写入流时，IGFS 似乎不允许我从流中读取数据。并非没有道理......除了我知道在幕后，文件的第一段已被写入并完成。

有谁知道我该如何解决这个问题？我想我可以编写一堆代码将文件分成 500M 的段或其他东西，但我希望这没有必要。

Answer 1

不要在 IGFS 模式下使用 Ignite，而是将其部署在标准配置中 - 作为单独的 memory-centric storage启用 native 持久性。让 Ignite 存储 Hadoop 中需要加速的操作所使用的数据子集。此配置允许使用所有 Ignite API，包括 Spark Integration。