python - 管理与托管 Elasticsearch 提供程序的连接池

Question

我需要一种方法来管理与托管 Elastic Search 提供商的连接，以加快我网站上的搜索速度。我们在 Heroku 上运行 Django，使用 Found ElasticSearch 插件和 pyes，它是一个 ElasticSearch Python 库。

使用 pyes 设置与 ElasticSearch 的连接的标准方法是将提供者 URL 传递到 ES 对象中，如下所示:

(1) connection = ES(my_elasticsearch_url)

Pyes 在后台使用 ES 对象与我的 ElasticSearch 提供程序建立开放的 HTTP 连接，因此我可以像这样运行搜索:

(2) results = connection.search(some_query, index_name)

之前，我在我的 Django 搜索 View 中执行了这两个步骤——每次用户进行搜索时，它都会打开一个新的 HTTP 连接，然后运行搜索。因此，搜索调用很慢。

我通过将 (1) 移动到我的应用程序的 __init__.py 文件中来加快搜索速度——现在，我只设置了一次连接，并将其导入到搜索 View 中。但我担心如果很多人同时尝试搜索，它会阻塞 HTTP 连接。

我正在寻找有关如何设置连接池、在应用程序启动时启动它们，然后根据需要将它们分发到我的搜索 View 的想法。理想情况下，我希望能够轻松地上下扩展池的大小，而只需对我的代码进行最少的更改。

我可以想出几种方法来解决它，但这似乎是一个常见的计算相关问题，所以我相信你们中的很多人都对此类系统的良好设计和最佳实践有想法。我很想听听他们的声音。

非常感谢!

黏土

Answer 1

如果您在多线程环境中运行，这只是扩展 Queue.Queue 的问题创建一个实例，该实例可以从您的 View 处理请求-响应流的多个线程中按需获取和实例化连接。您可能希望通过限制队列的最大大小来限制保留的连接数，尽管您可以实例化更多的连接并在可以将它们放回队列中时简单地丢弃它们。

使用 Queue.Queue 的缺点是，如果您的 View 负责从队列中检索连接并将它们返回到队列中，它可能会产生横切关注点。如果您仅将保存连接的 pyes.ES 中的实际对象排队，并为 ES 创建一个包装器，在执行查询时创建一个包装器，您可以获得更健康的设计新的 ES 实例，从队列中获取一个连接，将其设置在实例上，执行查询，将连接返回到队列中，丢弃 ES 实例并返回查询结果。