python - 在 python Flask/Gevent Web 服务中缓存大对象

Question

我正在构建一个基于 Python 的网络服务，为我们的主要应用程序 API 提供自然语言处理支持。由于它的 NLP 繁重，因此需要从磁盘中解压一些非常大的 (50-300MB) 语料库文件，然后才能进行任何类型的分析。

如何将这些文件加载​​到内存中，以便每个请求都可以使用它们？我试验过 memcached 和 redis，但它们似乎是为小得多的对象设计的。我也一直在尝试使用 Flask g 对象，但这只会在一个请求中持续存在。

在使用 gevent(或其他)服务器允许并发连接时，有什么办法可以做到这一点吗？语料库是完全只读的，因此应该有一种安全的方式将内存暴露给多个 greenlets/线程/进程。

非常感谢，如果这是一个愚蠢的问题，我深表歉意 - 我使用 Python 已经有一段时间了，但我对网络编程还比较陌生。

Answer 1

如果您正在使用 Gevent，您可以在进程的全局范围内拥有只读数据结构，并且它们将由所有 greenlet 共享。使用 Gevent，您的服务器将包含在单个进程中，因此数据可以加载一次并在所有 worker greenlet 之间共享。

封装数据访问的一个好方法是将访问函数或类放在模块中。您可以在导入模块时取消选中数据，也可以在有人第一次将函数调用到模块中时触发此任务。

您需要确保不会引入竞争条件，但如果数据是严格只读的，您应该没问题。