Java 和队列 : saturation issues with multithreaded I/O

Question

这个问题与最新版本的 Java 有关。

30 个生产者线程将字符串推送到抽象队列。一个写入器线程从同一个队列弹出并将字符串写入驻留在 5400 rpm HDD RAID 阵列上的文件。数据以大约 111 MBps 的速率推送，并以大约 80MBps 的速率弹出/写入。该程序存活 5600 秒，足以让大约 176 GB 的数据在队列中累积。另一方面，我被限制在总共 64GB 的主内存中。

我的问题是:我应该使用什么类型的队列？

这是我到目前为止尝试过的方法。

1) ArrayBlockingQueue。这个有界队列的问题是，无论数组的初始大小如何，我总是会在数组填满后立即遇到 active 问题。事实上，程序启动几秒钟后，top 只报告一个 Activity 线程。分析表明，平均而言，生产者线程大部分时间都在等待队列释放。这与我是否使用公平访问策略无关(构造函数中的第二个参数设置为 true)。

2) 并发链接队列。就活跃度而言，这个无界队列表现更好。直到我用完内存，大约七百秒后，所有三十个生产者线程都处于 Activity 状态。然而，在我超过 64GB 限制后，速度变得异常缓慢。我猜想这是因为分页问题，​​尽管我还没有进行任何实验来证明这一点。

我预见了两种摆脱困境的方法。

1) 购买固态硬盘。希望 I/O 速率的提高会有所帮助。

2) 在写入文件之前压缩输出流。

有替代方案吗？我是否在构建/使用上述队列的方式中遗漏了什么？有没有更聪明的方法来使用它们？ Java Concurrency in Practice 一书提出了一些饱和策略(第 8.3.3 节)，以防有界队列的填满速度快于耗尽速度，但不幸的是，它们都没有——中止、调用者运行和两者丢弃政策---适用于我的场景。

Answer 1

寻找瓶颈。你生产的比你消耗的多，有界队列绝对有意义，因为你不想耗尽内存。

尝试让您的消费者更快。配置文件并查看花费最多时间的地方。由于您在此处写入磁盘，因此有一些想法:

• 您可以使用NIO 来解决您的问题吗？ (也许 FileChannel#transferTo())
• 仅在需要时冲洗。
• 如果您有足够的 CPU 储备，压缩流？ (正如你已经提到的)
• 优化您的磁盘以提高速度(突袭缓存等)
• 更快的磁盘

正如@Flavio 所说，对于生产者-消费者模式，我看不出有什么问题，现在应该是这样。最后，最慢的一方控制了速度。