python - 如何将线程固定到具有预定内存池对象的内核？ (80 核 Nehalem 架构 2Tb 内存)

Question

在带有 2Tb DRAM 的 80 核 (160HT) nehalem 架构上运行一些测试后，我遇到了一个小的 HPC 问题:

当每个线程开始请求有关“错误”套接字上的对象的信息时，具有 2 个以上套接字的服务器开始停顿很多(延迟)，即请求来自正在处理一个套接字上的某些对象的线程拉取实际上位于另一个插槽上的 DRAM 中的信息。

尽管我知道它们正在等待远程套接字返回请求，但内核似乎已被 100% 使用。

由于大部分代码都是异步运行的，因此重写代码要容易得多，因此我可以只解析从一个套接字上的线程到另一个套接字上的线程的消息(没有锁定等待)。此外，我想将每个线程锁定到内存池，这样我就可以更新对象，而不是在垃圾收集器上浪费时间 (~30%)。

因此问题:

如何在 Python 中将线程固定到具有预定内存池对象的内核？

更多背景信息:

当您将 ZeroMQ 放在中间并在每个 ZMQworker 管理的内存池之间传递消息时，Python 可以毫无问题地运行多核。在 ZMQ 的 8M msg/second 下，对象的内部更新花费的时间比管道可以填充的时间长。这一切都在这里描述:http://zguide.zeromq.org/page:all#Chapter-Sockets-and-Patterns

因此，通过稍微过度简化，我生成了 80 个 ZMQworker 进程和 1 个 ZMQrouter，并使用大量对象(实际上是 5.84 亿个对象)加载上下文。从这个“起点”开始，对象需要交互才能完成计算。

思路是这样的:

• 如果“对象 X”需要与“对象 Y”交互并且在python线程的本地内存池，然后交互应该直接做。
• 如果“对象 Y”在同一个池中不可用，那么我希望它通过 ZMQrouter 发送消息，让路由器返回一个在稍后的某个时间点响应。我的架构是非阻塞的，因此在特定 python 线程中发生的事情会继续进行，而无需等待 zmqRouters 响应。即使对于位于同一套接字但位于不同内核上的对象，我也宁愿不进行交互，因为我更喜欢进行干净的消息交换，而不是让 2 个线程操作同一内存对象。

为此我需要知道:

1. 如何找出给定 python 进程(线程)的套接字运行。
2. 如何将该特定套接字上的内存池分配给 python 进程(某些 malloc 限制或类似限制，以便内存池的总和不会将内存池从一个套接字推送到另一个套接字)
3. 我没有想到的事情。

但我无法在 python 文档中找到有关如何执行此操作的引用，并且在谷歌上我一定是在搜索错误的东西。

更新:

关于“为什么在 MPI 架构上使用 ZeroMQ？”的问题，请阅读主题:Spread vs MPI vs zeromq?因为我正在处理的应用程序是为分布式部署而设计的，即使它是在 MPI 更合适的架构上进行测试的。

更新 2:

关于问题:

“如何在 Python 中使用预定的内存池将线程固定到内核 (3)”，答案在 psutils 中。 :

>>> import psutil
>>> psutil.cpu_count()
4
>>> p = psutil.Process()
>>> p.cpu_affinity()  # get
[0, 1, 2, 3]
>>> p.cpu_affinity([0])  # set; from now on, this process will run on CPU #0 only
>>> p.cpu_affinity()
[0]
>>>
>>> # reset affinity against all CPUs
>>> all_cpus = list(range(psutil.cpu_count()))
>>> p.cpu_affinity(all_cpus)
>>>

可以将 worker 固定到一个核心，从而可以有效地利用 NUMA(查找您的 CPU 类型以验证它是 NUMA 架构!)

第二个要素是确定内存池。这可以用 psutils 来完成以及 resource library :

Answer 1

您可能低估了这个问题，没有 super 简单的方法可以完成您想要的。作为一般准则，您需要在操作系统级别工作以按照您想要的方式进行设置。您想要使用所谓的“CPU 亲和性”和“内存亲和性”，并且您需要认真考虑您的系统架构和软件架构才能把事情做对。在真正的 HPC 中，命名的“亲和性”通常由 MPI 库处理，例如 Open MPI。您可能想考虑使用一个并让您的不同进程由该 MPI 库处理。 mpi4py包可以提供操作系统、MPI库和Python之间的接口(interface)。

您还需要了解线程和进程的概念以及操作系统设置。虽然对于 CPU 时间调度程序，线程是要调度的任务，因此理论上可以具有单独的亲和性，但我只知道整个进程的亲和性掩码，即一个进程中的所有线程。对于控制内存访问，NUMA(非统一内存访问)是正确的关键字，您可能需要查看 http://linuxmanpages.com/man8/numactl.8.php

在任何情况下，您都需要阅读有关亲和性主题的文章，并且可能希望开始阅读有关 CPU/内存亲和性的 Open MPI 常见问题解答: http://www.open-mpi.de/faq/?category=tuning#paffinity-defs

如果您想在不使用 MPI 库的情况下实现您的目标，请查看包 util-linux 或 schedutils 和 numactl您的 Linux 发行版以获得有用的命令行工具，例如 taskset，您可以使用这些工具，例如从 Python 内部调用以便为某些进程 ID 设置关联掩码。

这篇文章似乎生动地描述了 MPI 库如何帮助您解决问题:

http://blogs.cisco.com/performance/open-mpi-v1-5-processor-affinity-options/

这个 SO 答案描述了您如何将硬件架构一分为二:https://stackoverflow.com/a/11761943/145400

一般来说，我想知道您使用的机器是否适合这项任务，或者您是否可能在错误的一端进行了优化。如果您在一台机器内发送消息并达到内存带宽限制，我不确定 ZMQ(通过 TCP/IP，对吧？)是否是执行消息传递的正确工具。回到 MPI， HPC 应用程序的消息传递接口(interface)...