ssl - Logstash HTTP 输出无法发布到需要客户端证书的 HTTPS 端点

Question

我目前正在尝试通过 http 输出将一些示例事件从我们生产环境中的 Logstash 接收服务器发送到测试环境。
接收端的服务器是一个自定义的 Nginx HTTPS 端点，它接受发布数据(单个事件和支持 Elasticsearch 批量索引格式的批量事件的端点)并将其放入 redis 队列中，最终由 Logstash 处理服务器读取。

logstash 接收服务器上的当前 http 输出如下所示:

 http {
   url => "https://json-logs-endpoint.example.com:8443/event"
   http_method => "post"
   format => "json"
   ssl_certificate_validation => false
   client_cert => "/etc/filebeat/ssl/filebeat.crt"
   client_key => "/etc/filebeat/ssl/filebeat.key"
   cacert => "/etc/filebeat/ssl/filebeat.chain"
 }

证书相关选项使用与 filebeat 日志传送器(安装在所有服务器上)相同的文件，通过 elasticsearch 输出。 /etc/filebeat/ssl/ 中文件的权限确实允许 logstash 读取证书。我的 filebeat 配置是这样的:

filebeat:
  prospectors: []
  registry_file: "/var/lib/filebeat/registry"
  config_dir: "/etc/filebeat/conf.d"
output:
  elasticsearch:
    enabled: true
    hosts:
    - json-logs-endpoint.example.com:8443
    protocol: https
    path: "/multi-event"
    tls:
      certificate_authorities:
      - "/etc/filebeat/ssl/filebeat.chain"
      certificate: "/etc/filebeat/ssl/filebeat.crt"
      certificate_key: "/etc/filebeat/ssl/filebeat.key"

所有服务器上的所有 filebeat 实例都通过 /multi-event 端点通过 https 成功地将数据发送到此 Nginx 服务器。

/event 和/multi-event 端点之间的唯一区别是前者接受单个 JSON 事件，后者接受 elasticsearch bulk indexing request 格式的数据.
两个端点都以相同的方式通过 SSL 进行保护。当 Logstash 启动时，没有任何与 http 输出相关的错误指示，尽管在很短的时间后管道基本上停止了。然后以详细模式运行 logstash 会提供更多信息，其中包含 this stack trace。

我猜问题与所提供证书的格式有关？如果有人能指出我的问题，我将不胜感激。

谢谢!

Answer 1

看来问题是由于在 http 输出中指定的客户端 key 文件:

client_key => "/etc/filebeat/ssl/filebeat.key"

应该是 PKCS8 格式。一旦我运行以下命令将其转换为正确的格式:

openssl pkcs8 -topk8 -nocrypt -in '/etc/filebeat/ssl/filebeat.key' -out '/etc/filebeat/ssl/pkcs8-filebeat.key'

然后更新 client_key 参数以指向 PKCS8 格式的 key :

client_key => "/etc/filebeat/ssl/pkcs8-filebeat.key"

这解决了问题，并且 HTTPS POST 请求未按预期运行。希望这最终对将来的其他人有用。