elasticsearch - 管理Logstash管道的输出

Question

我们正在尝试为LogStash服务器中的所有管道添加一个字段(我们有6个本地logtash，每个国家3个)。
具体来说，我们正在尝试从环境变量中添加一个字段，以标记索引中带有后缀的管道的输出，例如(美国，欧盟)，但是我们有很多管道(按国家/地区大约为145个)和主要思想没有在所有输出插件中添加此环境变量，这也不是必需的，因此，如果有人忘记添加环境变量，我们将遇到严重的问题。

然后，我们试图找到一种在每个输出中自动添加此字段而不添加此环境变量的方法，以您的经验，是否有可能在logstash“world”中在输出插件的索引中附加后缀？

例

output {
  elasticsearch {
    hosts => localhost
    manage_template => false
    index => "index-%{+YYYY.MM.dd}_${COUNTRY_VARIABLE}"
  }
}

我想在发送文档之前自动添加 ${COUNTRY_VARIABLE}。

无法在 elasticsearch中执行此操作，因为它已安装在 aws中，并且检查 logstash中所有可能的主机输入的流量是我们不希望拥有的成本。

Answer 1

当然可以。如果将备用值添加到env var，则在有人忘记定义一个的情况下可以使用:${COUTRY_VARIABLE:XX}

output {
  elasticsearch {
    hosts => localhost
    manage_template => false
    index => "index-%{+YYYY.MM.dd}_${COUNTRY_VARIABLE:ABC}"
  }
}

有关logstash中的env vars的更多背景，请参见 here。