java - Java中如何实现多个线程下载单表数据？

Question

如何实现多个线程与多个/相同的连接，以便快速下载单个大表数据。

实际上，在我的应用程序中，我正在下载一个包含 12 个 lac(1 个 lac = 100,000)条记录的表格，在正常连接速度下至少需要 4 小时才能下载，而在低速连接下则需要更多小时。

因此需要在 Java 中实现多个线程来下载具有多个/相同连接对象的单个表数据。但不知道该怎么做。

如何在多个线程中定位一个记录指针，然后如何将所有线程记录添加到一个大文件中？？

提前致谢

Answer 1

首先，获取并下载如此庞大的数据到客户端是不是可取的。如果您需要数据用于显示目的，那么您不需要适合屏幕的更多记录。您可以对数据进行分页并一次获取一页。如果您正在获取它并在您的内存中进行处理，那么您肯定会在您的客户端上耗尽内存。

如果不管建议如何，您都需要这样做，那么您可以生成多个线程，这些线程与数据库有单独的连接，每个线程将拉取一小部分数据(1 到许多页面)。如果您说有 100K 条记录和 100 个线程可用，那么每个线程可以提取 1K 条记录。同样不建议有 100 个线程和 100 个打开的数据库连接。这只是一个例子。将线程数限制为某个最佳值，并限制每个线程拉取的记录数。可以根据rownum限制从DB中拉取的记录数。