pyspark - 在 Databricks 中哪里可以找到 Spark 日志

Question

我正在尝试从 Databricks 获取 spark 日志并检查发送到 SNowflake 的连接字符串。在什么路径下可以找到spark logs？

我已经启用了这个跟踪选项，但我是否需要为 spark 启用一些额外的日志记录:

sfOptions = {
"sfURL" : "test.eu-central-1.snowflakecomputing.com",
"sfUser" : "user",
"sfPassword" : **********
"sfDatabase" : "db",
"sfSchema" : "sch",
"sfWarehouse" : "wh",
"tracing" : "all",
 }

谢谢

Answer 1

这实际上取决于信息的记录位置 - 仅在驱动程序上，或在执行程序上。如果你navigate to Cluster UI , you'll see two options “驱动程序日志”和“Spark UI”。第一个will give you access to all driver logs for given cluster ，您可以通过第二项访问执行程序和驱动程序日志——这只是一个标准的 Spark UI 选项。

您也可以configure delivery of the logs to DBFS ，在这种情况下，您可以将它们从指定位置下载到本地计算机以进行更多调查(例如，通过 databricks-cli )