python - 什么文件格式可以让我在文件中非常快速地搜索字符串？

Question

我有一个 100GB 的随机文本字符串文件，长度在 4 到 200 个字符之间，每行一个。

我希望能够在文件中的任何字符串中找到一个字符串，例如如果可能的话，“footestbar”中任何“test”的出现。

否则我会很高兴能够找到以子字符串开头的行/记录，例如“foo”找到“footestbar”但找不到“testbarfoo”。

我正在考虑对文件进行一次排序，然后记录“a”行开始的位置，“b”行开始的位置等。这样可以让我快速跳转到正确的部分并减少花费的时间.我可以通过记录所有三个字符组合开始的位置来进一步提高速度，但有些东西告诉我有更好的方法。

Answer 1

我认为一个好的开始可能是生成一个 DAFSA .您可能必须将其与图形文件格式结合使用。