java - 在java中处理来自mysql的数百万条记录并将结果存储在另一个数据库中

Question

• 我在 MySQL 中有大约 1500 万条记录(只读)，这些记录将使用 10 个表的联接来获取。每天大约插入 50000 条新记录。 future 数量还会继续增加。
• 每条记录将由java程序独立处理。将对同一条记录进行多次处理，并根据处理计算输出。
• 结果将存储在另一个数据库中。
• 处理应在一小时内完成

我的问题是

1. 如何以分布式方式设计处理引擎(java程序集群)，使处理速度尽可能快？更准确地说，我想同时启动多个 Spot 实例并完成处理。
2. mysql 会成为读取瓶颈吗？
3. 我在大数据解决方案方面没有任何经验。我应该使用 Spark 或任何其他 map 缩减解决方案吗？如果是，那么我该如何进行？

Answer 1

我也遇到过类似的情况，我们每天收集大约 1500 万条记录。我所做的是创建一些收集表，我轮换并执行初始处理。完成后，我将数据移至下一阶段，在将其添加到大量数据之前进行进一步处理。将其分解将获得最佳性能并避免运行大量数据。

我不确定你的意思是处理数据以及为什么你想用Java来做，你可能有一个很好的理由。我想，如果将其卸载到 MySQL 并让它完成尽可能多的处理，性能会好得多。