gpt4 book ai didi

java - 将大数据流式传输到 Apache Nifi 中的流文件,无需 OOM

转载 作者:行者123 更新时间:2023-12-02 11:37:36 24 4
gpt4 key购买 nike

我使用 apache nifi 来处理大文件。所以输出的流文件也会很大。这个该如何处理呢?也许使用 session.append(byte []); 或使用一些 /tmpdir 来存储。例如,我的文件是 10Gb,而处理器产生 8Gb,因此 JVM 将因 OOM 失败。

最佳答案

您需要将 JVM 的堆大小设置为足够大来处理此问题(即 bootstrap.conf 中的 -Xmx=20GB)。当然,流媒体方法也将对此有所帮助。看看现有的例子,如 ReplaceText查看如何处理流式传输。

关于java - 将大数据流式传输到 Apache Nifi 中的流文件,无需 OOM,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48811912/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com