cassandra - 让 Tableau 与 Spark 和 Cassandra 对话

Question

DataStax Spark cassandra 连接器非常适合通过 Apache Spark 与 Cassandra 进行交互。借助 Spark SQL 1.1，我们可以使用 thrift 服务器通过 Tableau 与 Spark 进行交互。由于 Tableau 可以与 Spark 通信，并且 Spark 可以与 Cassandra 通信，因此肯定有某种方法可以让 Tableau 通过 Spark(或更确切地说 Spark SQL)与 Cassandra 通信。我不知道如何让它运行。理想情况下，我想使用 Spark Standalone 集群 + cassandra 集群(即无需设置额外的 hadoop)来完成此操作。这可能吗？任何指示表示赞赏。

Answer 1

HiveThriftServer 有一个 HiveThriftServer2.startWithContext(sqlContext) 选项，因此您可以创建引用 C* 和相应表/CF 的 sqlContext，然后将该上下文传递给 Thrift 服务器。

所以像这样:

import  org.apache.spark.sql.hive.HiveContext
import  org.apache.spark.sql.catalyst.types._
import  java.sql.Date
val  sparkContext  =  sc
import  sparkContext._
val  sqlContext  =  new  HiveContext(sparkContext)
import  sqlContext._
makeRDD((1,"hello") :: (2,"world") ::Nil).toSchemaRDD.cache().registerTempTable("t")
import  org.apache.spark.sql.hive.thriftserver._
HiveThriftServer2.startWithContext(sqlContext)

因此，您不必从 Spark 启动默认的 thriftserver，您只需使用自定义的午餐即可。