python - 有没有办法缓存提取输出？

Question

我正在开发一个在云端运行的封闭系统。

我需要的是一个搜索功能，它使用用户输入的正则表达式来过滤数据集中的行。

phrase = re.compile(request.get("query"))
data = Entry.all().fetch(50000)  #this takes around 10s when there are 6000 records
result = x for x in data if phrase.search(x.title)

现在，数据库本身不会变化太大，一天的搜索不会超过200-300次。

有没有办法以某种方式缓存所有条目(我预计条目不会超过 50.000，每个条目不超过 500 字节)，因此检索它们不会占用 >10 秒？或者也许并行化它？我不介意 10cpu 秒，但我确实介意用户必须等待 10 秒。

要解决诸如“对其编制索引并使用 .filter()”之类的任何答案 - 查询是一个正则表达式，而且我不知道任何允许使用正则表达式的索引机制。

Answer 1

您还可以使用 cachepy或 performance engine (无耻的插件)将数据存储在 App Engine 的本地实例上，这样您就可以更快地访问所有实体，而不会受到内存缓存边界或数据存储延迟的限制。

提示:如果一个本地实例超过大约 185 MB 的内存，它就会被杀死，所以如果您知道自己在做什么，您实际上可以在其中存储相当多的数据。