azure - az synapse Spark 作业提交

Question

根据文档，使用 az synapse Spark 作业提交，我可以使用 --arguments 传递参数。到目前为止一切顺利。
但是，我无法弄清楚如何在代码中实际访问这些参数。这是我目前的努力:

val conf = new SparkConf().setAppName("foo")
val sc = new SparkContext(conf)
val spark = SparkSession.builder.appName("foo").getOrCreate()
val start_time = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm").format(LocalDateTime.now)
val appID = sc.getConf.getAppId


//let's get some arguments
val inputArgs = spark.sqlContext.getConf("spark.driver.args").split("\\s+")
//val inputArgs = sc.getConf.get("spark.driver.args").split("\\s+") 

其中任何一行都会引发以下异常:

22/03/25 19:07:45 ERROR ApplicationMaster: User class threw exception: java.util.NoSuchElementException: spark.driver.args
java.util.NoSuchElementException: spark.driver.args

那么，如何读取 Scala 代码中的参数呢？

Answer 1

好吧，我把事情想得太复杂了。

def main(args: Array[String]) {
...

val foo = args(0)