scala - 在 Scala 中将数据框作为可选函数参数传递

Question

有没有一种方法可以在 Scala 中将数据框作为可选的输入函数参数传递？ 例如:

def test(sampleDF: DataFrame = df.sqlContext.emptyDataFrame): DataFrame = {


}


df.test(sampleDF)

虽然我在这里传递了一个有效的数据框，但它总是被分配给一个空的数据框，我该如何避免这种情况？

Answer 1

是的，您可以将 dataframe 作为参数传递给函数

假设您有一个 dataframe 作为

import sqlContext.implicits._

val df = Seq(
  (1, 2, 3),
  (1, 2, 3)
).toDF("col1", "col2", "col3")

这是

+----+----+----+
|col1|col2|col3|
+----+----+----+
|1   |2   |3   |
|1   |2   |3   |
+----+----+----+

你可以将它传递给下面的函数

import org.apache.spark.sql.DataFrame
def test(sampleDF: DataFrame): DataFrame = {
  sampleDF.select("col1", "col2") //doing some operation in dataframe
}

val testdf = test(df)

testdf 会是

+----+----+
|col1|col2|
+----+----+
|1   |2   |
|1   |2   |
+----+----+

已编辑

正如 eliasah 指出的那样，@Garipaso 想要可选参数。这可以通过将函数定义为

def test(sampleDF: DataFrame = sqlContext.emptyDataFrame): DataFrame = {
  if(sampleDF.count() > 0) sampleDF.select("col1", "col2") //doing some operation in dataframe
  else sqlContext.emptyDataFrame  
}

如果我们传递一个有效的数据框作为

test(df).show(false)

输出结果为

+----+----+
|col1|col2|
+----+----+
|1   |2   |
|1   |2   |
+----+----+

但是如果我们不传递参数作为

test().show(false)

我们会得到空数据框

++
||
++
++

希望回答对你有帮助