java - 处理超过 100k 条数据记录

Question

我正在开发 spring-mvc 应用程序。

我有处理超过 10 万条数据记录的要求。而且我不能让它依赖于数据库，所以我必须在 java 中实现所有逻辑。

现在我正在创建多个线程并为每个线程分配 1000 条记录以进行处理。

我正在使用 org.springframework.scheduling.concurrent.ThreadPoolTask​​Executor。

列表项

问题:

1. 我应该使用的建议线程数。
2. • 我应该在线程之间平均分配记录数还是
   • 我应该为每个线程提供预定义的记录数并增加线程数吗？
3. ThreadPoolTask​​Executor 没问题，还是我应该使用其他东西？
4. 我应该在 Java 中还是在数据库中维护分配给每个线程的记录 ID？ (注意:如果使用数据库，那么我会为每条记录进行额外的数据库调用，并在处理该记录后对其进行更新)

任何人都可以建议我在这种情况下的最佳做法。

任何类型的建议都会很棒。

注意:执行时间是主要问题。

更新:

处理包括拥抱数据库调用的次数。意味着您可以将其视为在 java 中完成的搜索。获取一条记录，然后将该记录与 db 中的其他记录进行比较(在 java 中)。然后再次记录另一条记录并执行相同的操作。

Answer 1

为了处理海量数据，可以使用Spring Batch框架。
检查这个Doc .
维基page .