jdbc - 如何保持Logstash运行，以便将数据从RDBMS同步到ES？

Question

我是ELK堆栈的新手，所以请原谅我的无知。我已经能够让Logstash将数据从我的数据库发送到Elasticsearch，但是一旦完成传输，它就会退出。我如何保持其运行，从而使其保持同步？谢谢

Answer 1

您需要在jdbc输入中指定schedule:

下面的schedule(* * * * *)将每分钟运行一次，并从数据库中选择记录，并且仅选择上次查询运行后已更新的记录。您的updated时间戳字段的名称可能有所不同，可以根据情况进行调整。

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.36-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/mydb"
    jdbc_user => "mysql"
    parameters => { "some_field" => "value" }
    schedule => "* * * * *"
    statement => "SELECT * from songs WHERE some_field = :some_field AND updated > :sql_last_value"
  }
}