java - Java中的非阻塞缓冲区

Question

在一个大容量的多线程 java 项目中，我需要实现一个非阻塞缓冲区。

在我的场景中，我有一个 Web 层，每秒接收大约 20,000 个请求。我需要在某些数据结构(也称为所需缓冲区)中累积其中一些请求，当它已满时(假设它包含 1000 个对象时它已满)，应将这些对象序列化为一个文件，该文件将被发送到另一台服务器进行进一步处理。

实现应该是非阻塞的。我检查了ConcurrentLinkedQueue但我不确定它是否适合这份工作。

我认为我需要以一种方式使用 2 个队列，一旦第一个队列被填满，它就会被一个新的队列替换，并且完整的队列(“第一个”)被交付以供进一步处理。这是我目前想到的基本想法，但我仍然不知道它是否可行，因为我不确定我是否可以在 java 中切换指针(为了切换整个队列)。

有什么建议吗？

谢谢

Answer 1

对于这样的需求，我通常会在应用程序启动时创建一个缓冲区池，并将引用存储在 BlockingQueue 中。生产者线程弹出缓冲区，填充它们，然后将引用推送到消费者正在等待的另一个队列。消费者完成后(在您的情况下，数据写入正常)，refs 将被推回到池队列中以供重新使用。这提供了大量的缓冲区存储，不需要在锁内进行昂贵的批量复制，消除了 GC 操作，提供了流量控制，(如果池为空，生产者被迫等待直到一些缓冲区被返回)，并防止内存失控，全部在一个设计中。

更多:多年来，我也在各种其他语言(C++、Delphi)中使用过此类设计，并且效果很好。我有一个包含 BlockingQueue 的“ObjectPool”类和一个从中派生缓冲区的“PooledObject”类。 PooledObject 有一个对其池的内部私有(private)引用(它在池创建时被初始化)，因此允许无参数的 release() 方法。这意味着，在具有多个池的复杂设计中，缓冲区总是被释放到正确的池中，从而减少了潜在的错误。

我的大多数应用程序都有一个 GUI，所以我通常将池级别转储到计时器上的状态栏，比如说，每秒。然后我可以大致看到有多少负载，如果有任何缓冲区泄漏，(数字持续下降然后应用程序最终死锁在空池上)，或者我正在双重释放，(数字持续上升并且应用程序最终崩溃)。

在运行时更改缓冲区数量也相当容易，方法是创建更多缓冲区并将它们插入池中，或者等待池中，删除缓冲区并让 GC 销毁它们。