databricks - 如何将日志从 Azure Databricks 重定向到另一个目的地？

Question

我们可以使用一些帮助来了解如何将 Spark Driver 和 worker 日志发送到 Azure Databricks 之外的目的地，例如Azure Blob 存储或使用 Eleastic-beats 的 Elasticsearch 。

配置新集群时，get reg log delivery destination 的唯一选项是 dbfs，参见

https://docs.azuredatabricks.net/user-guide/clusters/log-delivery.html .

非常感谢任何输入，谢谢!

Answer 1

也许以下内容会有所帮助:

首先，您为 Spark 驱动程序和工作日志指定一个 dbfs 位置。
https://docs.databricks.com/user-guide/clusters/log-delivery.html

然后，您创建一个挂载点，将您的 dbfs 文件夹链接到一个 Blob 存储容器。 https://docs.databricks.com/spark/latest/data-sources/azure/azure-storage.html#mount-azure-blob-storage-containers-with-dbfs

希望对您有所帮助!