gpt4 book ai didi

hadoop - Hadoop 中的 VIRTUAL_MEMORY_BYTES 任务计数器是什么意思?

转载 作者:可可西里 更新时间:2023-11-01 16:35:41 25 4
gpt4 key购买 nike

权威指南中的以下摘录提供了如下所示的高级详细信息,但是

  1. 这个任务计数器中的虚拟内存到底指的是什么?
  2. 如何解读?它与 PHYSICAL_MEMORY_BYTES 有什么关系?

enter image description here

以下是其中一份工作的示例摘录。物理空间约为 214 GB。虚拟空间约为 611 GB。

enter image description here

最佳答案

1.这个任务计数器中的虚拟内存到底指的是什么?

 Virtual Memory here is used to prevent Out of Memory errors of a task,if data size doesn't fits in RAM(physical mem).
in RAM.So a portion of memory of size what didn't fit in RAM will be used as Virtual Memory.

因此,在设置 hadoop 集群时,建议设置 vm.swappiness =1 的值以获得更好的性能。在 linux 系统上,vm.swappiness 默认设置为 60。值越高,内存页面交换越积极。

https://community.hortonworks.com/articles/33522/swappiness-setting-recommendation.html

<强>2。如何解读?它与 PHYSICAL_MEMORY_BYTES 有什么关系?

swapping of memory pages from physical memory to virtual memory on disk when not enough phy mem

这是 PHYSICAL_MEMORY_BYTES 和 VIRTUAL_MEMORY_BYTES 之间的关系。

关于hadoop - Hadoop 中的 VIRTUAL_MEMORY_BYTES 任务计数器是什么意思?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53451612/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com