java - 如何设置 Storm worker 的 JVM 最大堆大小？

Question

我是 Storm 编程的新手，我有一份工作要对自定义分组方法进行测试，看看它是否更好。

所以我必须在几种不同的条件下测量 Storm 的吞吐量，例如不同的工作人员数量、不同的工作人员内存等

使用 conf.setNumWorkers(); 可以很容易地设置 worker 数量，但是我发现很难设置每个 worker 的最大堆大小。

我尝试编辑 storm.yaml 并添加

worker.childopts: "-Xmn128m-Xms128m-Xmx128m"

与

conf.put(Config.WORKER_CHILDOPTS, "-Xmn128m -Xms128m -Xmx128m");

添加到我的代码中。

但是，当我在工作节点上使用 jmap -heap [pid] 时，我发现最大堆大小仍然是 768m，这是默认的最大堆大小。

我怎样才能达到这样的目的来限制JVM的最大内存使用量？

顺便说一句，我正在使用 kafkaspout 向 storm 发送消息，欢迎对我的测试工作提出任何建议。

Answer 1

尝试编辑 storm/default.yaml 文件。查找 worker settings，在那里你会找到设置堆内存的条目。默认情况下应该是这样的!

worker.heap.memory.mb: 768

在同一文件中，您还会找到以下设置，您可以根据需要在其中更改值。

topology.component.resources.onheap.memory.mb: 128.0
topology.component.resources.offheap.memory.mb: 0.0
topology.component.cpu.pcore.percent: 10.0
topology.worker.max.heap.size.mb: 768.0

希望对您有所帮助!