node.js - 如何将spark rdd保存到csv文件

Question

我需要检索 cassandra 表数据并将其保存到文件系统(linux 文件系统)。

该文件不应拆分为多个 Node ，而应在一个 Node 中创建。

我们有四个 Node (datastax) cassandra 集群，以 Spark 模式运行。dse版本:5.0.1Spark版本:1.6.1

这是我的示例代码:

val sc = new SparkContext(conf)
val sqlContext1 = new CassandraSQLContext(sc);
sqlContext1.setKeyspace("KeyspaceName");
val results = sqlContext1.sql("SELECT * FROM KeyspaceName.TableName");
 results.collect().foreach(println); 

现在是结果 RDD。需要保存到单个 Node 的本地文件系统(linux)。

我关注了一些博客，但没有效果。有人可以指导解决这个问题吗？

Answer 1

输出位置需要可由 Spark 集群中的所有 Node 访问。您可以将位置映射为网络文件夹并将其指定为输出位置。

Spark 2+
results.write.csv(path_to_network_folder)

Spark 1.6 与 Scala 2.11
从 https://github.com/databricks/spark-csv 添加依赖项 spark-csv像这样:
libraryDependency += "com.databricks"% "spark-csv_2.11"% "1.5.0"

代码看起来像这样:results.write.format("com.databricks.spark.csv").save(path_to_network_folder)