database - 一次又一次地查询数据库或一次将所有数据存储在一个文件中并查询文件？

Question

我正在制作一组 Talend 作业，我将根据作业的需要以不同方式查询同一组表。这些 table 很大。如果在运行作业之前我查询所有表并从数据库中获取所有数据并将它们存储在一个文件中，然后将这些文件用于 Talend 作业中的各种查询，这会不会很好。这些文件将存储在作业运行的同一位置，而数据库服务器将存储在其他位置。如果我没记错的话，那么数据库本身就会实现某种缓存和索引，以加快查询速度并优化查询。那么，是否值得将它们存储在一个文件中，然后在 Talend Jobs 中查询它们？我正在使用 Oracle 数据库。

Answer 1

我不会这样做。

根据您的许可证，您可能能够使用内存表。尽管如此，正如您所说，根据查询的大小，可能会有一些缓存。

我会避免它，因为它可能会导致各种问题:

• 文件系统可能变得不可用
• 在本地文件系统中没有缓存，调用它可能会慢很多——甚至比处理还慢
• 所有数据库性能助手 - 如索引、缓存、查询分析器 - 将不可用
• 需要实现某种数据库系统——这很愚蠢，因为那里已经有一个数据库

不过，这个或另一个数据库中的临时表可能是一个想法。

所以重负载只会发生一次，我觉得这是个好主意。然后进一步的处理将在临时表上进行。之后，在完成所有流程后，将删除此临时表。