scala - 文本数据源只支持单列，你有8列

Question

这是我尝试将数据框保存为文本时遇到的错误:

org.apache.spark.sql.AnalysisException: Text data source supports only a single column, and you have 8 columns

这是代码:

df.write.text("/tmp/wt")

我做错了什么？

Answer 1

在 Spark 1.6 中，最简单的解决方案是使用 databricks 的库并编写:

df.write.format("com.databricks.spark.csv").save("pathToFile.csv")

如果您不想使用它，您可以像这样简单地将数据框的行转换为 csv 行:

df.rdd
  .map(_.toSeq.map(_+"").reduce(_+";"+_))
  .saveAsTextFile("pathToFile.csv")

请注意，如果您的字段可以包含分隔符或引号，您将必须添加封闭引号并转义现有引号，图书馆会透明地为您做这些事情。