Java 文件 IO 与本地数据库

Question

我正在从事一个涉及快速解析大量数据的项目。目前此数据在磁盘上并分解为目录层次结构:

(Folder: DataSource) -> (Files: Day1, Day2, Day3...Day1000...)
(Folder: DataSource2) -> (Files: Day1, Day2, Day3...Day1000...) 
...
(Folder: DataSource1000) -> ...
...

每天的文件都包含需要快速访问的条目。

我最初的计划是在 java 中使用传统的 FileIO 来访问这些文件，但在进一步阅读后，我开始担心这可能太慢了。

简而言之，我可以从不同的数据源和日期中有选择地从我的文件系统加载条目的最快方法是什么？

Answer 1

这个问题可以通过两种方式解决，但它取决于几个因素

选择文件 IO。

1. 如果量是<百万行
2. 如果你不像 Jon Skeet 所说的那样进行复杂的查询
3. 如果您获取行的引用是使用 hte Folder Name: "DataSource"作为键

去数据库

1. 如果您看到您的程序读取数百万条记录
2. 您可以进行复杂的选择，甚至可以使用一次选择进行多行。
3. 如果您了解为数据库创建基本表结构