elasticsearch - 如何从Filebeat Shipper转发数据到Power Bi

Question

我有一个记录用户交互并将其保存到log.json文件的应用程序。

以前，我使用Humio作为分析工具，但现在我想使用Power Bi。

我有一个数据发送程序Filebeat，它可以转发日志数据(在发送给Humio之前)。

现在我想知道，是否有可能使用Filebeat将数据转发到Power Bi。

如果是的话-怎么样？

这是发送到Humio时我的filebeat.yml的样子

#======== Filebeat inputs ===========
filebeat.inputs:

- paths:
- path\to\audit_log\*

#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:

hosts: ["https://cloud.humio.com:443/api/v1/dataspaces/audit_log/ingest/elasticsearch"]
username: myUsername
password: myPassword

如果我想使用Power Bi，您对output.elasticsearch的外观有任何建议吗？

我尝试按照指南进行操作: https://docs.microsoft.com/en-us/power-bi/developer/walkthrough-push-data

但是我需要一些帮助-我缺少一些知识或了解。

或更接近我实际问题的指南。

提前谢谢!

Answer 1

您将无法直接将数据从Filebeat发送到BI。您需要进行某种转换，因为您的BI数据集JSON结构与Filebeat生成的JSON不同。

看一下Logstash，它是 flex 堆栈的一部分，并且使用Filebeat将数据发送到Logstash。您只需要在filebeat.yml中进行较小的更改

在Logstash中，您需要配置Extract Transform Load(aka ETL)管道，以便从文件信号中接收(E)所有事件并将它们转换(T)为Power BI REST Api(https://docs.microsoft.com/de-de/rest/api/power-bi/pushdatasets/datasets_postdataset)所需的JSON结构向BI实例发出HTTP请求(L)。