scala - Spark流从Twitter获取数据并保存到Cassandra

Question

提到我的问题，我对此有疑问

具体来说，我的问题是与cassandra连接并以流式输入数据。因为我已经连接了cassandra和spark并且还从twitter获取数据。表哪个键空间。我该怎么做？

我的密码在那里。

     val conf = new SparkConf()
  .set("spark.cassandra.connection.host", "127.0.0.1")
  .set("spark.cleaner.ttl", "5000")
  .setMaster("local[2]").setAppName("myapp")
val sc = new SparkContext(conf)
val ssc = new StreamingContext(sc, Seconds(2))

val tweetsA = TwitterUtils.createStream(ssc, None, Array("searchword"))


val tweets_mystring = tweetsA.filter(_.getText.contains("searchword2")).map(ttext => ttext.getText)
tweets_mystring.map(??????).saveToCassandra("mykeyspace", "mytable")
//i can't write my map function like where ????

ssc.start()
ssc.awaitTermination(60000)
ssc.checkpoint(checkpointDir)
} 
}

Answer 1

嘿，回复有点晚了，但是我将研究DataStax。它很好地支持Spark Streaming和Cassandra的组合。易于使用的软件，用于将数据流式传输到Cassandra，并且由于它们目前有大约1.9亿美元的投资，将继续得到支持。以下是使用方法的快速示例。

https://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/spark/sparkSave.html