apache-spark - 将数据从 dstream 写入 parquet

Question

使用 pyspark 从 kinesis 消费数据后，我有一个包含如下条目的 dstream:

('filename_1', [{'name': 'test'}, {'name': 'more'}, {'name': 'other'}])
('filename_2', [{'age': 15}, {'age': 25}])

我现在要做的是将元组的第二部分写入元组第一部分标识的位置。

在其他地方，我通过使用以下方法将每个字典列表转换为 DataFrame 来做到这一点:

dataframe = sqlContext.createDataFrame(list_of_dicts)

并用以下内容编写它:

dataframe.write.parquet('filename')

我现在的问题是如何将 dstream 中的每一行转换为 DataFrame。我的直觉是使用 map 来获取每一行并进行转换。这将需要一个 sqlContext ，您实际上无法将其传递给 map 函数，因为它因以下错误而失败:

Exception: It appears that you are attempting to reference SparkContext from a broadcast variable, action, or transforamtion. SparkContext can only be used on the driver, not in code that it run on workers. For more information, see SPARK-5063

我并不完全依赖于 Parquet ，但我需要某种模式(因此绕道到 DataFrame)。有没有办法用 Spark 做到这一点？

Answer 1

您可以在 foreach 中创建 SqlContext 的新实例方法。

words.foreachRDD(
  new Function2<JavaRDD<String>, Time, Void>() {
    @Override
    public Void call(JavaRDD<String> rdd, Time time) {
      SQLContext sqlContext = JavaSQLContextSingleton.getInstance(rdd.context());

有关更多详细信息，您可以通过此 link .