java - REST 调用减慢了 Spring Boot 应用程序的速度 - 需要改进性能

Question

我们有一个应用程序，我们在其中解析 excel(大约 100k)，对于 excel 中的每一行，我们将调用 4 个不同的 REST 调用 [在不同的域中]，并将返回的输出存储在 REDIS 实例中以供进一步处理

1) 如果有 100k 条记录，我们将进行 100k *4 REST API 并行调用(并行 50 个线程)，一条记录需要 30 秒才能完成整个过程。这似乎减慢了我们的进程，因此是否有任何其他替代框架(在 Java 中相关技术会有所帮助)我们可以用来加速这个过程。

2) 由于 REDIS 是单线程的，我们按顺序插入数据，因此在该过程中需要更多时间，是否有一种方法可以并行地从 REDIS 中放入和获取数据，或者是否有任何其他替代方法。

Answer 1

这真的很有趣，我脑子里突然冒出一个解决方案。

• 使用队列(例如 Apache ActiveQ)
• 处理 excel 文件并将单个消息放入队列
• 编写其他服务来处理来自该队列的消息。

通过这样做，您的主要服务将变得轻松，它只需读取 excel 文件并将消息放入队列，可以在放入队列之前使用标题来区分消息，如果您打算为不同类型编写不同的服务，这将有所帮助他们将从队列中使用的消息的数量。