python - 如何使用 SparkSession 从列表创建数据框？

Question

我想创建一个 pyspark 数据框，其中一列指定名称包含一系列整数(这是为了输入 ALS 模型的 suggestForUserSubset 方法)。

所以我使用范围创建了一个整数列表，并发现 this question展示如何使用 SQLContext 将列表放入数据框。但由于我使用的是 SparkSession API，而不是旧的 API，因此我不知道如何创建 SQLContext，并且根据 documentation在 SQLContext 上，我可能不必这样做:“从 Spark 2.0 开始，它已被 SparkSession 取代。但是，我们保留该类是为了向后兼容。”

这是我试图替换的代码:

dataset = sqlContext.createDataFrame(range(i, i+1000), ['session_idx'])

我也不知道是否应该将整数列表映射到元组列表，或者它是否“正常工作”。

Answer 1

在本例中，SparkSession 上存在相同的方法 (spark.createDataFrame)。

但是，对于获取范围列的特定用例，还有一个专用方法:

dataset = spark.range(i, i + 1000)
dataset = dataset.withColumnRenamed('id', 'user_idx')