csv - 自动化:将数据从本地 CSV 推送到 Kusto 数据库表

Question

我从网页下载了不同的数据，并在我的本地目录中保存为 .csv 文件。我想将该数据推送到我在 Kusto Explorer 上创建的表中，理想情况下我希望此过程安排为每天自动进行，因为来自网站的数据每天都会更新。

例如:

这里我有 3 个 .csv 文件:

1.csv
2.csv
3.csv

这里我在 Kusto 上创建了 3 个表来分别存储每个 csv 数据:

Table_1
Table_2
Table_3

问题是:是否可以自动安排从本地 CSV 到 Kusto 的数据推送/加载？数据推送/加载类型目前为 Replace 但将来可能需要 Append。

我被推荐使用 Flow ( https://preview.flow.microsoft.com/en-us/) 来检查是否已经设置了任何类似的模板。但是，我无法找到任何这些工具并且是这些工具的新手，所以我需要知道这方面的人的帮助。非常感谢。如果您需要任何进一步的信息，请告诉我。

Answer 1

如果你想控制时间安排:

• 您可以使用任何摄取客户端库来自动执行此操作:https://learn.microsoft.com/en-us/azure/kusto/api/

• 或者，如果您更喜欢简单地调用现成的实用程序，还有 LightIngest , 和 Kusto Ingestion Tools (KIT)

另一种方法是:

1. 创建 CSV 文件后将其上传到云存储。

2. 为它们上传到的存储容器设置一个数据连接，这样任何上传到它的文件都会自动摄取到您的集群中:https://learn.microsoft.com/en-us/azure/data-explorer/ingest-data-event-grid