- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
类似于此post ,我想在特定的 NUMA 节点(不一定是本地)上创建一个命名的共享内存段(通过 shm_open()
+ mmap()
在 CentOS 7 上创建)。该帖子建议使用 numa_move_pages()
来实现。
我还有几个问题:
如果另一个进程(在不同 NUMA 的本地核心上运行)稍后启动并且 mmap()
到同一个命名共享内存段,操作系统是否会决定移动命名共享内存段此进程本地的 NUMA 的内存段?如果是,我该如何预防?
在我通过numa_move_pages()
指定后,是否有其他情况将命名的共享内存段移动到另一个NUMA?
给定 /shm/dev
中的命名共享内存段,我如何检查它属于哪个 NUMA 节点?
我查看了 numactl
,它的 --membind
选项关闭了我想要的,但我不确定如果两个不同的进程使用 --membind
到 2 个不同的节点。谁赢?如果 #3 得到回答,我想我可以测试一下。
谢谢!
最佳答案
我只想回答第 1 点和第 3 点。
第 1 点:
据我记得我的老师和这是什么link说:NUMA 机器上的页面可以移动到最靠近调用最多的 CPU。换句话说:如果您的页面分配在 bank 0 但直接连接到 bank 1 的 CPU 使用它的频率更高,那么您的页面将移动到 bank 1。
第 3 点:
给定一个命名的共享内存我不知道你是如何得到调用 numa 节点的,但是给定一个在这个共享内存中的指针你可以通过调用获得它的内存策略:get_mempolicy()
if flags specifies MPOL_F_ADDR, then information is returned about the policy governing the memory address given in addr. This policy may be different from the process's default policy if mbind(2) or one of the helper functions described in numa(3) has been used to establish a policy for the memory range containing addr.
来自 get_mempolicy()
的手册页 here
关于在特定 NUMA 节点上创建命名共享内存?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51692869/
我有一个内存带宽受限的问题——我需要从 RAM 中顺序读取大量(许多 GB)数据,进行一些快速处理并将其顺序写入 RAM 中的不同位置。内存延迟不是问题。 在不同 NUMA 区域中的两个或多个内核之间
我试图通过 numa_distance() 和其他相关函数(来自第一个链接),但无法理解。我只是想了解 linux 如何计算两个节点之间的 NUMA 距离,据说这个距离会根据架构和 NUMA 互连而变
根据wiki :非均匀内存访问 (NUMA) 是一种用于多处理的计算机内存设计,其中内存访问时间取决于相对于处理器的内存位置。 但尚不清楚它是与包括缓存在内的任何内存有关还是仅与主内存有关。 例如 X
我正在用 Python 开发一个科学计算工具,它应该能够在 NUMA 共享内存环境中的多个内核上分配工作。我正在研究最有效的方法。 由于 python 的全局解释器锁,线程 - 不幸地 - 退出了游戏
请耐心等待,我才刚刚开始深入研究整个 CPU 问题。 下图中的RAM方 block ,它们指的是什么?内存页?据我所知,CPU 只有一件事与内存有关——它们的缓存。 那么图中的RAM只是一个共享缓存,
我正在开发一个最初为多核处理器系统开发的遗留应用程序。为了利用多核处理,已经使用了 OpenMP 和 PPL。现在一项新要求是在具有多个 NUMA 节点的系统上运行该软件。目标操作系统是 Window
有很多resources从硬件角度描述 NUMA 的架构和 performance implications编写支持 NUMA 的软件,但我还没有找到有关如何根据 NUMA 确定虚拟页面和物理框架之间
我必须找出在 Linux 下与 NUMA 内存页面迁移相关的开销。 您能告诉我可以使用哪些工具吗? 如果可能的话,你能举个例子吗。 最佳答案 如果您想了解您的系统是否正在执行过多的远程节点内存访问并且
类似于此post ,我想在特定的 NUMA 节点(不一定是本地)上创建一个命名的共享内存段(通过 shm_open() + mmap() 在 CentOS 7 上创建)。该帖子建议使用 numa_mo
从 Java 垃圾收集中跳出来,我遇到了 JVM settings for NUMA .奇怪的是,我想检查我的 CentOS 服务器是否具有 NUMA 功能。是否有 *ix 命令或实用程序可以获取此信
在linux系统中,pthreads库为我们提供了缓存对齐的函数(posix_memalign)来防止错误共享。要选择架构的特定 NUMA 节点,我们可以使用 libnuma 库。我想要的是需要两者的
我正在使用 NUMA 机器(SGI UV 1000)同时运行大量数值模拟,每个模拟都是一个使用 4 核的 OpenMP 作业。然而,运行超过 100 个这样的作业会导致性能显着下降。我们关于为什么会发
据我了解,对于 NUMA 系统的性能,有两种情况需要避免: 同一套接字中的线程写入同一高速缓存行(通常为 64 字节) 来自不同套接字的线程写入同一虚拟页面(通常为 4096 字节) 一个简单的例子会
我想以我可以控制的方式在 NUMA 内的所有节点内存之间分配内存(例如,在 node1 的内存中分配 a,在node2的内存中分配b,并在node4的内存中分配c…)。 有什么办法可以实现这一点吗?
我正在考虑使用 Apache Spark 进行数据分析。过去,由于 NUMA 架构和对象在单个节点本地,我在 4 插槽服务器上遇到过 Java/Scala 速度变慢的情况。解决方案是为每个 NUMA
我的服务器有 4 个 numa 节点,每个节点有 8 个带超线程的内核。所以我有 64 个逻辑 CPU。 我有一些程序生成数据和其他程序使用数据。这些程序是用 c++ (11) 编写的。我想启动多个生
如何在 C++ 中的特定 NUMA 节点上启动 Windows 中的进程? 例如命令 start/NODE X 为节点 X 执行此操作。但是如何以编程方式实现相同的目的呢? 最佳答案 你可以传递一个
我已经使用 valloc 分配了内存,比方说 [15*sizeof(double)] 的数组 A。现在我将它分成三部分,我想将每一部分(长度为 5)绑定(bind)到三个 NUMA 节点(比方说 0、
在我的/etc/default/grub 文件中,我用“hugepages=N”明确地预留了 N 个大页面。如果我在一个有 2 个 NUMA 节点的盒子上运行,是为每个节点预留 N/2 个大页面,还是
我有两个问题: (i) 假设线程 X 在 CPU Y 上运行。是否可以使用系统调用 migrate_pages - 或者更好的 move_pages(或它们的 libnuma 包装器) - 将与 X
我是一名优秀的程序员,十分优秀!