apache-spark - 如何将 cassandraRow 转换为 Row(apache spark)？

Question

我正在尝试从 RDD[cassandraRow] 创建一个 Dataframe .. 但我不能因为 createDataframe( RDD[Row] ,schema: StructType) 需要 RDD[Row] 而不是 RDD[cassandraRow]。

我怎样才能做到这一点？

并且根据这个问题的答案
How to convert rdd object to dataframe in spark

(答案之一)在 RDD[Row] 上使用 toDF() 从 RDD 获取数据帧的建议对我不起作用。我尝试在另一个示例中使用 RDD[Row] (尝试使用 toDF() )。

我也不知道我们如何使用 RDD ( RDD[Row] ) 的实例调用 Dataframe ( toDF() ) 的方法？

我正在使用 Scala。

Answer 1

如果你真的需要这个，你总是可以将你的数据映射到 Spark 行:

sqlContext.createDataFrame(
  rdd.map(r => org.apache.spark.sql.Row.fromSeq(r.columnValues)),
  schema
)

但如果你想要 DataFrames最好直接导入数据:

val df = sqlContext
  .read
  .format("org.apache.spark.sql.cassandra")
  .options(Map( "table" -> table, "keyspace" -> keyspace))
  .load()