python - 使用 Python 插入 Elasticsearch 数据

Question

我是使用 Elastic Stack 的新手，所以请原谅我缺乏这方面的知识。我正在 Windows 10 公司工作计算机上运行 Elastic Stack。我为 bash cli 安装了 Git Bash，我可以成功启动整个 Elastic Stack。我的任务是获取存储在我们的一个数据库中的日志数据并将其显示在 Kibana 仪表板上。

根据我和我的团队的推理，我不需要使用 Logstash，因为将日志发送到的数据库实际上是我们的“日志存储”，因此使用 Logstash 服务将是多余的。我发现了这个漂亮的图表

在 freecodecamp 上，据我所知，Logstash 只是日志检索不同服务的中介。因此，而不是使用 Logstash，因为日志数据已经在数据库中，我可以做这样的事情

USER ---> KIBANA <---> ELASTICSEARCH <--- My Python Script <--- [DATABASE]

我的 python 脚本成功调用了我们的数据库并检索了数据，以及一个将数据塑造成 dict 对象的函数(据我所知，Elasticsearch 以 JSON 格式获取数据)。

现在我想将所有这些数据插入 Elasticsearch - 我一直在阅读 Elastic 文档，有很多关于索引的讨论并不是真正的索引，我还没有找到任何可以用来插入的 API 调用将数据直接导入 Elasticsearch。到目前为止，我发现的所有文档都与 Logstash 的使用有关，但由于我没有使用 Logstash，所以我在这里有点不知所措。

如果有人可以帮助我并为我指明正确的方向，我将不胜感激。谢谢

-担

Answer 1

您使用 Index API 在 elasticsearch 上摄取数据，它基本上是使用 PUT 方法的请求。

要使用 Python 做到这一点，您可以使用 elasticsearch-py ，elasticsearch 的官方 python 客户端。

但有时使用 Logstash 更容易完成您需要的工作，因为它可以从您的数据库中提取数据，使用许多过滤器对其进行格式化并发送到 elasticsearch。