java - 使用Java从Map中的MySQL表中检索百万条记录

Question

我有以下问题:我有一个存储一些文件的应用程序，并且为每个文件在 MySQL 表中创建 2 个条目:文件的路径和一个值 X(可以在文件中找到的唯一标识符)。

相同的唯一标识符值也存储在文件本身中。

现在我编写了一个小程序，因为我们遇到了一些不一致，因为某些文件与数据库表中的路径相同，但文件本身的值 X 不同(文件中的值是正确的)。

我编写了一个 Java 应用程序:首先读取所有文件(使用 DCM4CHEE 库)，将文件路径和值 X 存储在映射对象中(使用路径作为键)。然后使用查询读取 MySQL 表，将检索到的值(路径 + 值 X)存储在另一个映射中，最后比较 2 个映射并将不一致的记录写入文件。

不幸的是，在某些情况下，我们需要读取超过 2-3 百万个文件(以及 MySQL 表中的记录)，这使得检索速度非常慢。这些文件需要单独读取(因为它们是使用特殊文件格式(DICOM)编写的医疗记录，我需要一个特殊的库来访问内容。

我的问题是:1 - 在 Java 中使用 Maps 存储超过 300 万条记录是否合适，还是我应该使用不同的对象？有没有更高效的方法？

2 - 为了从 MySQL 检索记录，我启动了一系列限制记录数量的查询(从记录 1 到 x，详细说明结果，然后再次从 x 到 y，详细说明，依此类推(y 到 z ...) 直到所有记录都被读取。我这样做是因为检索所有记录的单个查询需要非常长的时间。我正在做的事情正确吗？在 Java 中是否有更好的方法来做到这一点？

谢谢大家的帮助。

Answer 1

1 - is using Maps to store over 3 millions records appropriate in Java or shall I use a different Object? Is there something more efficient?

只要进程空间中有足够的可用内存来保存数据，映射就应该没问题。如果每个条目平均为 100 字节(听起来对于路径加 key 来说合适？)，则最多需要 300MB。如果每个条目有 500 字节，那么您将看到 1.5GB。

2 - to retrieve the records from MySQL I launch a series of query limited on the number of records (from record 1 to x, elaborate the results, then again from x to y, elaborate, and so on (y to z...) until all records have been read. I do this as a single query to retrieve all records is taking extremely long.

在单个查询中读取所有记录通常不会有问题(尽管如果您使用 ORDER BY，在某些情况下可能会变得相对昂贵)。对于具有适当硬件和适当配置的 MySQL 系统来说，2-300 万条记录根本不算什么。

一些需要检查的事情:

• 您的 MySQL 服务器配置正确吗？默认配置文件不是一个好的起点。
• 您是否在属于 WHERE 或 ORDER BY 子句的任何字段上建立了索引？