search - 在Elasticsearch中给予读取优先于写入

Question

我有一个运行Elasticsearch 0.9的EC2服务器和一个用于读/写访问的Nginx服务器。我的索引大约有75万个中小型文档。我对内容的写入量很少(主要是更新)，持续不断。我在搜索中收到的速度/一致性很好，但是multi-get ( /_mget )偶尔会出现超时问题。

在我的应用程序的某些页面上，我们的服务器将请求一打多打的十几到几千个文档(这通常需要不到1-2秒的时间)。从Nginx服务器失败的请求以30,000毫秒的超时失败。我认为这是因为索引被临时锁定以进行写入/优化目的。有人对我在这里可以做什么有任何想法吗？

临时解决方案是降低超时时间并返回一条用户友好的消息，指出无法检索文档(但是，它们仍然必须等待约10秒钟才能看到错误消息)。

我的其他一些想法是将读取优先于写入。每当有人尝试读取索引的一部分时，都不允许对该部分进行任何写/锁操作。我认为这不是可扩展的，甚至可能无法实现？

最后，我以为我可以有一个只读别名和一个只写别名。我可以通过文档了解如何进行设置，但是我不确定它是否会像我期望的那样实际工作(并且我不确定如何在本地环境中对其进行可靠的测试)。如果我这样设置别名，由于通过只读别名写入信息，只读别名是否还会存在索引被锁定的时刻？

我敢肯定，以前有人遇到过这种情况，那么一种典型的解决方案是确保用户始终可以从索引中读取数据，而其写入优先级更高。如果需要，我会考虑增加服务器的功能。当前，我们有2个m2x大的EC2实例。一个是主数据库和副本数据库，每个都有4个分片。

来自失败请求的cURL信息的示例转储(错误为Operation timed out after 30000 milliseconds with 0 bytes received):

{
   "url":"127.0.0.1:9200\/_mget",
   "content_type":null,
   "http_code":100,
   "header_size":25,
   "request_size":221,
   "filetime":-1,
   "ssl_verify_result":0,
   "redirect_count":0,
   "total_time":30.391506,
   "namelookup_time":7.5e-5,
   "connect_time":0.0593,
   "pretransfer_time":0.059303,
   "size_upload":167002,
   "size_download":0,
   "speed_download":0,
   "speed_upload":5495,
   "download_content_length":-1,
   "upload_content_length":167002,
   "starttransfer_time":0.119166,
   "redirect_time":0,
   "certinfo":[

   ],
   "primary_ip":"127.0.0.1",
   "redirect_url":""
}

Answer 1

使用Paramedic插件进行更多监视之后，我注意到当我的CPU达到〜80-98％时，我会超时(索引/搜索流量没有明显的峰值)。我终于在Elasticsearch论坛上偶然发现了helpful thread。当索引正在刷新并且正在发生大型合并时，似乎会发生这种情况。

Merges can be throttled在集群或索引级别，我已经将它们从indicies.store.throttle.max_bytes_per_sec从默认20mb更新为5mb。这可以在运行时使用cluster update settings API完成。

PUT /_cluster/settings HTTP/1.1
Host: 127.0.0.1:9200

{
    "persistent" : {
        "indices.store.throttle.max_bytes_per_sec" : "5mb"
    }
}

到目前为止，Parmedic正在显示CPU使用率的下降。从平均约5-25％降至平均约1-5％。希望这可以帮助我避免之前锁定查询的90％以上的峰值，如果没有其他问题，我将通过选择此答案进行报告。

作为附带说明，我想我本可以选择更平衡的EC2实例(而不是内存优化的)。我认为我对当前的选择感到满意，但是下次购买时也会考虑更多的CPU。