r - Sparklyr 中缺少 Concat_ws() 函数

Question

我正在学习有关网络 (Adobe) 分析的教程，我想在其中构建马尔可夫链模型。 (http://datafeedtoolbox.com/attribution-theory-the-two-best-models-for-algorithmic-marketing-attribution-implemented-in-apache-spark-and-r/)。

在示例中，他们使用以下函数:concat_ws(来自库(sparklyr))。但看起来该函数不存在(安装包并调用库后，我收到一条错误，提示该函数不存在......)。

博客评论作者: concat_ws 是一个 Spark SQL 函数: https://spark.apache.org/docs/2.2.0/api/java/org/apache/spark/sql/functions.html因此，您必须依靠 Sparklyr 才能使该功能发挥作用。

我的问题:是否有解决方法可以访问 concat_ws() 函数？我尝试过:

• 在 Github ( https://github.com/rstudio/sparklyr ) 上搜索是否可以找到该函数(或源代码)..不幸的是没有结果..

该功能的目标是什么？使用给定的分隔符将多个输入字符串列连接在一起形成一个字符串列。

Answer 1

您可以简单地使用基础 R 中的paste。

library(sparklyr)
library(dplyr)

config <- spark_config()
sc <- spark_connect(master = "local", config = config)

df <- as.data.frame(cbind(c("1", "2", "3"), c("a", "b", "c")))
sdf <- sdf_copy_to(sc, df, overwrite = T)

sdf %>%
  mutate(concat = paste(V1, V2, sep = "-"))