- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我们正在考虑在 Amazon 上设置 ELK 堆栈,但我们真的不知道我们需要什么机器才能顺利处理它。
现在我知道如果它运行不顺利就会变得很明显,但我们仍然希望了解我们需要什么来应对我们的情况。
所以我们 4 个服务器以自定义格式生成日志文件。每天约 4500 万行日志,生成约 4 个 600mb(gzipped)文件,因此每天约 24GB 的日志。
现在我们正在研究 ELK 堆栈,并希望 Kibana 的仪表板显示实时数据,因此我考虑使用 syslog 将日志记录到 logstash。
4 服务器 -> Rsyslog(在这 4 台服务器上) -> Logstash (AWS) -> ElasticSearch (AWS) -> Kibana (AWS)
所以现在我们需要弄清楚我们在 AWS 中需要什么样的硬件来处理这个问题。
我至少在某处阅读了 3 个 ElasticSearch 大师和 2 个数据节点。
那么总共 5 台服务器 + 1 台服务器用于 Kibana,1 台用于 Logstash?
所以我总共需要 7 台服务器才能开始,但这似乎有点矫枉过正?
我想将我的数据保留 1 个月,所以最多 31 天,所以我在 Elastic Search 中有大约 1.4TB 的原始日志数据(~45GB x 31)
但是,由于我真的不知道最佳设置是什么,因此欢迎提供任何提示/提示/信息。
此外,可以为我处理此问题的系统或工具(节点故障等)可能很有用。
提前致谢,
黑暗之城
最佳答案
以下是我构建云集群的方式:
3 个主节点 - 这些节点协调集群并保留其中三个有助于容忍故障。理想情况下,这些将分布在可用区中。这些可以相当小,理想情况下不接收任何请求——它们唯一的工作是维护集群。在这种情况下设置 discovery.zen.minimum_master_nodes = 2
以维持法定人数。这些 IP 和仅这些 IP 是您应该提供给 discovery.zen.ping.unicast.hosts
中的所有集群节点的内容。
索引:您可能应该利用每日索引 - 参见 https://www.elastic.co/guide/en/elasticsearch/guide/current/time-based.html这在下面会更有意义,但如果您开始扩大规模也会有好处 - 您可以随着时间的推移增加分片数量而无需重新编制索引。
数据节点:根据您的规模或性能要求,有几个选项 - i2.xlarge 或 d2.xlarge 可以很好地工作,但 r3.2xlarge 也是一个不错的选择。确保保持 JVM 堆 <30GB。将数据路径保留在实例本地的临时驱动器上 - EBS 对于此用例并不是很理想,但根据您的要求可能就足够了。确保您有多个数据节点,以便副本分片可以跨可用区拆分。随着您的数据需求的增加,只需扩大这些需求即可。
热/暖:取决于用例 - 有时将数据节点拆分为热/暖(快速 SSD/慢速 HDD)是有益的。这主要是因为所有写入都是实时的,并且大部分读取发生在过去几个小时内。如果您可以将昨天的数据移动到更便宜、速度更慢的驱动器上,那将大有帮助。这有点复杂,但您可以在 https://www.elastic.co/blog/hot-warm-architecture 阅读更多内容。 .这需要每晚添加一些标签并使用 curator,但通常是值得的,因为将大部分未搜索的数据从更昂贵的 SSD 上移走可以节省成本。
在生产中,我为热层运行 ~20 r3.2xlarge,为热层运行 4-5 d2.xlarge,复制因子为 2 - 这允许每天摄取 ~TB 和相当数量的保留。我们将 Hot 扩展为容量,将 Warm 扩展为保留。
总的来说 - 祝你好运!一旦一切顺利运行,就可以构建和运行一个有趣的堆栈。
PS - 根据您可用的时间/资源,您可以在 AWS 上运行托管的 elasticsearch 服务,但上次我认为它比在您自己的实例上运行它贵约 60%,而且 YMMV。
关于amazon-web-services - ELK 在 AWS 上的良好设置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38138132/
这个问题已经有答案了: Is there any way to accept only numeric values in a JTextField? (20 个回答) It's possible i
我使用戴尔 XPS M1710。笔记本电脑的盖子、侧面扬声器和前置扬声器都有灯(3 组灯可以单独调节)和鼠标垫下方的灯。在 BIOS 中,我可以更改这些灯的颜色,至少是每个组。另外,我可以在鼠标垫下打
我知道我可以使用 在 iOS 5 中打开设置应用 [[UIApplication sharedApplication] openURL:[NSURL URLWithString:@"prefs://"
我有一个 Django 应用程序,我正在尝试为其设置文档。目录结构如下: - doc - project | - manage.py 我已经设置了路径以便 Sphinx 可以看到东西,但是当我尝试使用
我正在使用 768mb ram 运行 centos 5.5。我一直在日志中获取 server reached MaxClients setting, consider raising the MaxC
我在具有以下配置的服务器内运行了 Drupal 安装: StartServers 5 MinSpareServers 5 MaxSpareServers 15 MaxClien
是否可以使用 Microsoft.Web.Administration 包为给定的 location 配置 asp 设置? 我想以编程方式将以下部分添加到本地 IIS applicationHost.
我一直在阅读为 kube-proxy 提供参数的文档,但没有解释应该如何使用这些参数。我使用 az aks create 创建我的集群使用 azure-cli 程序,然后我获得凭据并使用 kubect
我想知道与在 PHP 中使用 setcookie() 函数相比,在客户端通过 JavaScript 设置一些 cookie 是否有任何明显的优势?我能想到的唯一原因是减少一些网络流量(第一次)。但不是
我有一个按钮可以将 body class 设置为 .blackout 我正在使用 js-cookie设置cookie,下面的代码与我的按钮相关联。 $('#boToggle').on('click'
我有一堆自定义的 HTML div。我将其中的 3 存储在具有 slide 类的 div 中。然后,我使用该幻灯片类调用 slick 函数并应用如下设置: $('.slide').slick({
我正在创建一个应该在 Windows 8(桌面)上运行的应用 我需要: 允许用户使用我的应用启动“文件历史记录”。我需要找到打开“文件历史记录”的命令行。 我需要能够显示“文件历史记录”的当前设置。
我刚买了一台新的 MacBook Pro,并尝试在系统中设置 RVM。我安装了 RVM 并将默认设置为 ➜ rvm list default Default Ruby (for new shells)
由于有关 Firestore 中时间戳行为即将发生变化的警告,我正在尝试更改我的应用的初始化代码。 The behavior for Date objects stored in Firestore
在 ICS 中,网络 -> 数据使用设置屏幕中现在有“限制后台数据”设置。 有没有办法以编程方式为我的应用程序设置“限制后台数据”? 或 有没有办法为我的应用程序调出具有选项的“数据使用”设置? 最佳
我正在尝试使用 NextJS 应用程序设置 Jest,目前在 jest.config.js : module.exports = { testPathIgnorePatterns: ["/.n
我最近升级到 FlashDevelop 4,这当然已经将我之前的所有设置恢复到原来的状态。 我遇到的问题是我无法在新设置窗口的哪个位置找到关闭它在方括号、大括号等之前插入的自动空格的选项。 即它会自动
有没有办法以编程方式访问 iPhone/iPod touch 设置? 谢谢。比兰奇 最佳答案 大多数用户设置可以通过读取存储在 /User/Library/Preferences/ 中的属性列表来访问
删除某些值时,我需要选择哪些设置来维护有序队列。我创建了带有自动增量和主键的 id 的表。当我第一次插入值时,没问题。就像 1,2,3,4,5... 当删除某些值时,顺序会发生变化,例如 1,5,3.
我正在尝试设置示例 Symfony2 项目,如此处所示 http://symfony.com/doc/current/quick_tour/the_big_picture.html 在访问 confi
我是一名优秀的程序员,十分优秀!