database - 我应该如何在 Delphi 中实现一个巨大但简单的索引 StringList？

Question

我使用的是 Delphi 2009。我有一个非常简单的数据结构，有 2 个字段:

1. 作为我需要检索的关键字段的字符串，长度通常为 4 到 15 个字符。
2. 一个字符串，它是可以是任意大小的数据字段，从 1 个字符到 10,000 个字符。

困难在于我可能有数百万条这样的记录，因此它们的总大小可能多达或超过 10 GB。显然，我正在寻找磁盘上的解决方案而不是内存中的解决方案。

我的程序需要根据关键字段随机检索这些记录。这就是需要尽可能高效的部分。

我应该为这样一个简单的结构使用数据库吗？如果是的话，哪个数据库最适合处理这个问题并且最容易实现？

或者，是否有一种简单的磁盘数据结构不需要成熟的数据库也能正常工作？

---

好吧，我只需要一个答案就可以把我拉回现实。我一直在寻找比简单数据库更简单的东西。但是当没有答案是使用数据库时，我意识到我已经用我自己对另一个问题的回答回答了这个问题:Best database for small applications and tools .

我的回答是DISQLite3对于the reasons I specified there .这就是我可能会在实现中使用的内容。

---

还有一些可能的好答案。那太棒了。我将能够尝试几种不同的方法，看看哪种方法效果最好。

---

更多的思考，我不得不将接受的答案更改为 GpStructuredStorage 解决方案。

在我的例子中，总计几千兆字节的一百万条记录会给数据库结构带来压力。具体来说，在大多数数据库中用于存储索引的 B* 树速度很快，但对于某些操作(例如重新索引一百万个值)会变慢。

对于索引，您会发现唯一比 B* 更快的是哈希表。而这正是 gabr 建议的 GpStructuredStorage 解决方案所提供的内容。我认为他将散列值分段以提供 4 级目录结构的方式非常优雅。

我可以使用哈希解决方案的关键原因是我只需要通过 key 进行随机访问。我不需要按键排序。如果需要排序，那么哈希表的速度优势就会失去，数据库系统将成为一个无需大脑的赢家。

当我着手实现此技术时，我应该将此技术与数据库进行比较。也许我会与 Firebird 和 SQLite 进行比较，它们都是值得的对手。

---

还有一个跟进:

我刚刚发现 Synopse Big Table通过 A. Bouchez它专为速度而设计，几乎完全符合我的问题的规范。当我在几个月后实现时，我会首先尝试它，并会在此处报告我的结果。

---

很久以后的跟进(2015 年 7 月)

我从未尝试过 Synopse Big Table。到目前为止，我一直坚持使用我的 B* 树。但现在我已经升级到 Delphi XE8，并计划使用 FireDAC 和 SQLite 来使用数据库解决方案。

Answer 1

对于超过 10GB 的数据，数据库正是您所需要的。它将处理用于快速定位数据(您的随机检索)的索引、添加、修改和删除数据的功能以及实际存储，如果您愿意，还可以处理更多内容。

这里有许多帖子与哪些数据库可用于 Delphi 相关，包括内置和 FOS 数据库，如 Firebird .