apache-spark - 如何使用 Datastax spark-cassandra-connector 从 Cassandra 表中读取特定列？

Question

我正在使用 spark-cassandra-connector_2.11(版本 2.0.5)将数据从 Cassandra 加载到 Spark 集群中。我正在使用读取 api 来加载数据，如下所示:

SparkUtil.initSpark()
         .read
         .format("org.apache.spark.sql.cassandra")
         .options(Map("table"-><table_name>, "keyspace"-><keyspace>))
         .load()

它工作正常，但是，在一个用例中，我只想阅读来自 Cassandra 的特定专栏。如何使用读取 api 来做同样的事情？

Answer 1

SparkUtil.initSpark()
         .read
         .format("org.apache.spark.sql.cassandra")
         .options(Map("table"-><table_name>, "keyspace"-><keyspace>))
         .load()
         .select("column_name")

使用select..你也可以使用案例类