sql - 连接 Apache Spark DataFrame 中的列

Question

我们如何连接 Apache Spark DataFrame 中的两列？
我们可以使用 Spark SQL 中的任何函数吗？

Answer 1

使用原始 SQL，您可以使用 CONCAT :

在 Python 中

df = sqlContext.createDataFrame([("foo", 1), ("bar", 2)], ("k", "v"))
df.registerTempTable("df")
sqlContext.sql("SELECT CONCAT(k, ' ',  v) FROM df")

在斯卡拉

import sqlContext.implicits._

val df = sc.parallelize(Seq(("foo", 1), ("bar", 2))).toDF("k", "v")
df.registerTempTable("df")
sqlContext.sql("SELECT CONCAT(k, ' ',  v) FROM df")

从 Spark 1.5.0 开始，您可以使用 concat使用 DataFrame API 的功能:

在 Python 中:

from pyspark.sql.functions import concat, col, lit

df.select(concat(col("k"), lit(" "), col("v")))

在斯卡拉:

import org.apache.spark.sql.functions.{concat, lit}

df.select(concat($"k", lit(" "), $"v"))

还有 concat_ws将字符串分隔符作为第一个参数的函数。