azure - Azure Databricks 中的外部属性文件

Question

我们有一个成熟的 Spark 应用程序，它从属性文件中获取了大量参数。现在我们希望将应用程序移至 Azure 笔记本格式。整个代码运行良好，并通过硬编码参数给出预期结果。但是是否也可以在 Azure Databricks Notebook 中使用外部属性文件？如果可以，那么我们需要在哪里放置属性文件？

Answer 1

您可以使用Databricks DBFS 文件存储，Azure Databricks 笔记本可以从这里访问用户的文件。

要上传您拥有的属性文件，您可以使用 2 个选项

1. 使用wget，

   import sys
   "wget -P /tmp/ http://<your-repo>/<path>/app1.properties"
   dbutils.fs.cp("file:/tmp/app1.properties", "dbfs:/FileStore/configs/app1/")
   

2. 使用dbfs.fs.put(可能是创建此文件的一次性事件)

   dbutils.fs.put("FileStore/configs/app1/app1.properties", "prop1=val1\nprop2=val2")
   

要导入属性文件值，

properties = dict(line.strip().split('=') for line in open('/dbfs/FileStore/configs/app1/app1.properties'))

希望这有帮助!!