linux - 在单核上运行的进程的多个实例

Question

我有一个带有 4 个 CPU 的 Linux 机器，当我在上面运行一个进程时，它会在 30 分钟内处理 150 万条记录。这里的处理意味着从oracle DB中读取，派生一些内容并将1.5条记录写入文件系统中的一个文件中。

我们现在计划在此服务器上运行此流程的多个单独实例 (20)。

这是否意味着我将在 30 分钟内处理 20 x 1.5 = 2000 万条记录？我看到每个核心的线程 = 1(lscpu 命令)。所以我认为这不是一个正确的假设。比较 CPU 数量与进程数量时会考虑哪些因素？

实际上，我们收到了一项请求，称通过 20 个流程实例，系统应每个核心每小时处理至少 2000 万条记录。

我认为这个 Linux 系统无法满足这些要求的数字。

Answer 1

Does this mean, I would process 20 x 1.5 = 20 million records in 30 mins?

没有。强调不。

我认为 2000 万条记录是理论上的最大值。但我预计您会在实现该目标之前遇到 I/O channel 饱和问题。

这是系统架构师赚钱的地方。如果缺乏这一点，请让您的硬件供应商为您提供测试系统，您可以在其中对实际性能进行基准测试。请记住，I/O 带宽是典型的瓶颈，但您也可能会遇到内存带宽甚至主板总线限制。

“除非你咬一口，你永远不会知道它的味道。”也适用于基准测试。