java - 使用 Java 处理大量数据

Question

作为要求的一部分，我们需要处理近 300 万条记录并将它们与一个存储桶相关联。该关联取决于一组规则(由 5-15 个属性组成，具有单个或一系列值和优先级)，这些规则导出记录的存储桶。如此大的数字的顺序处理显然超出了范围。有人可以指导我们有效设计解决方案的方法吗？

Answer 1

从数据量的角度来看，300 万条记录并不是那么多(显然取决于记录大小)，所以我建议最简单的尝试是跨多个线程并行处理(使用 java.util.concurrent.Executor 框架)。只要您有多个可用的 CPU 内核，您就应该能够获得近乎线性的性能提升。