azure - 为什么出现 NoSuchElementException 以及如何修复它？

Question

我正在研究Deployment of Purview ADB Lineage Solution Accelerator由MS Azure团队开发。该工具的 gitgub 站点是 here .

我按照他们的指示并在 Azure 上部署了他们的工具。但是当我运行他们的示例 scala 文件 abfss-in-abfss-out-olsample 以下代码时，给出如下所示的错误:

NoSuchElementException: spark.openlineage.samplestorageaccount

Scala 语言代码:

import org.apache.spark.sql.types.{StructType, StructField, IntegerType, StringType}

val storageServiceName = spark.conf.get("spark.openlineage.samplestorageaccount")
val storageContainerName = spark.conf.get("spark.openlineage.samplestoragecontainer")
val adlsRootPath = "wasbs://"+storageContainerName+"@"+storageServiceName+".blob.core.windows.net"
            
val storageKey = dbutils.secrets.get("purview-to-adb-kv", "storageAccessKey")
            
spark.conf.set("fs.azure.account.key."+storageServiceName+".blob.core.windows.net", storageKey)

问题:错误的原因可能是什么以及我们如何修复它

更新:在 Databricks 集群的 Advanced Options 部分的 Spark 配置中，我按照 Install OpenLineage on Your Databricks Cluster 的第 4 项的建议添加了以下内容上述教程的部分。

Spark 配置

spark.openlineage.host https://functionapppv2dtbr8s6k.azurewebsites.net
spark.openlineage.url.param.code bmHFCiNI86nfgqwfkX86Lj5veclRds9Zb1NIJ48uRgNXAzFuQEueiQ==
spark.openlineage.namespace https://adb-1900514794152199.12#0160-060038-516wad48
spark.databricks.delta.preview.enabled true
spark.openlineage.version v1

Answer 1

这意味着 Spark 配置 (spark.conf) 不包含这样的 key 。

如果您希望存在此 key ，则必须检查配置设置/提供的方式。