java - 数据库的多线程问题

Question

我想解析一个文件并将内容传输到数据库中。为了加快所有文件的速度，应该并行解析文件。
我有一个主线程，它逐行读取文件并创建 Runnable，它被提供给 ThreadPoolExecutor。每个 Runnable 都有自己的 Session。

每一行都包含一个客户端的唯一标识符，因此可以重复。系统尝试通过标识符在数据库中查找客户端。
如果找不到需要相同客户端的线程之一，则需要创建客户端。我这里有一个“加入”点，其他线程必须等待允许创建客户端的线程。

c = (Client) s.get("Client", identfier);
if (c == null) {
    CountDownLatch lock = isClientResolutionActive(identfier);

    if (lock != null) {
        lock.await();
        LOGGER.info("Lock was released ... " + identfier);
        c = (Client) s.get("Client", identfier);
    }
}

if (c == null) {
    c = createClient(...);

    s.save(c);
    s.flush();
    removeClientResolutionActive(identfier);
}

为了同步它们，我在调用者类中创建了两个方法，一个方法专门用于检查是否已经有人在创建客户端并返回共享对象，另一个方法从列表中删除条目并通知所有等待线程.

我在互联网上搜索了很多，并试图找到我的问题或类似的问题，但没有成功。
此外，我不确定应该使用哪个并发对象。经过研究，我决定使用 CountDownLatch。它用1 初始化。应该只有一个线程创建它。 (也许使用 CountDownLatch 以外的东西会更好，但我不知道是什么)

上述方法在 map 上包含一个同步 block ，它包含客户端的标识符和CountDownLatch的实例。

private CountDownLatch isClientResolutionActive(String identfier) {
    synchronized (activeSearches) {
        if (activeSearches.containsKey(identfier)) {
            // Only create the CountDownLatch if there are multiple threads for
            // that identfier
            if (activeSearches.get(identfier) == null) {
                activeSearches.put(identfier, new CountDownLatch(1));
            }
            return activeSearches.get(identfier);
        } else {
            LOGGER.info("Locked " + identfier);
            activeSearches.put(identfier, null);
            return null;
        }
    }
}

private void removeClientResolutionActive(String identfier) {
    synchronized (activeSearches) {
        CountDownLatch cl = activeSearches.get(identfier);
        activeSearches.remove(identfier);
        if (cl != null) {
            LOGGER.info("Unlock " + identfier);
            cl.countDown();
        }
    }
}

通常它工作正常，但有时我会遇到问题，当闩锁被释放(和删除)并且访问同步变量队列包含另一个线程来搜索已删除的条目(以检查是否有任何线程是已经这样做了)，它会尝试再次创建一个新客户端。

18:02:55,611 [pool-1-thread-2] INFO LogImporter Unlock b42fcae346fbb2b1e3c544fb816de2c5
18:02:55,611 [pool-1-thread-3] INFO LogImporter Locked b42fcae346fbb2b1e3c544fb816de2c5
18:02:55,611 [pool-1-thread-4] INFO LogImporter Lock was released ... b42fcae346fbb2b1e3c544fb816de2c5

我想我必须改进同步，但我不知道该怎么做。

一个想法是将客户端搜索移动到同步 block 或在再次锁定数据库之前进行检查。
也许创建一个缓存或映射，其中包含数据库中所有已知的客户端。
或者在应用的整个生命周期中只使用一个Session？

提前感谢您的任何建议和提示。

Answer 1

在并行线程中解析同一个文件不会增加速度，只会花费额外的资源

问题较少且更有效的 text2db 优化包括:

• 批量读取文件(而不是一次逐行读取 1 MB，处理它，读取下一个 MB)

• 批量插入数据库 - 像这样的 mysql:

  insert into urtable 
  values
  ('val1','val2'),
  ('val1','val2'); 
  

(例子盗自http://bytes.com/topic/sql-server/answers/585793-insert-into-using-select-values-inserting-multiple-rows - 懒得自己补了)

• 尝试防止 sql 来回(意思是:如果需要从数据库中选择输出以丰富您的数据集，请预先读取它，而不是在浏览文件时断断续续)

更新----

根据我的评论，可能需要在解析文件时从数据库中获取数据。好吧，如果你必须做，你必须做。但是:尽量不必这样做。

首先:读取具体数据可以看有没有缓存。在狭义的理解中，缓存只是通过任何试探法将磁盘数据移动到内存(不知道发生了什么)。我个人尽量避免这种情况，因为启发式方法可能会对你不利。在更广泛的理解中，缓存是我之前描述的，加上将数据从磁盘放入内存，您可以查明(例如，通过 ID 或任何过滤条件)。所以我仍然不喜欢这方面的狭隘理解部分，而是喜欢预先选择明确定义的数据的行为。

其次:我的个人经历是这样的:如果你正在处理一个完全规范化的数据模型，那么在文件解析中的数据库读取操作通常会归结为“给我主键”我之前转储到数据库。当您一次写入多行时，这似乎变得棘手。但是，尤其是在 MySQL 中，您绝对可以依赖“每个插入语句(甚至是多行插入)都是原子的”，您可以从 last_insert_id() 获得 ID，因此您可以将其追溯到所有以前写入的记录。我很确定其他数据库系统也有类似的“故障”。

第三:解析大文件是我会尝试操作的工作，只有一个技术用户触发它，并确保这些进程中没有 >1 个并行运行。否则，您需要解决从文件锁定开始进入 session 权限读/写管理的各种问题。因此，将其作为工作进行分类(至少在我的个人政策中)以分配大量 RAM - 这取决于成本和速度的重要性。这意味着我什至不会费心将 10 万行的关键字到 ID 表预先加载到内存中。