python - 如何在 Python 中创建示例单列 Spark DataFrame？

Question

我想创建一个示例单列 DataFrame，但以下代码不起作用:

df = spark.createDataFrame(["10","11","13"], ("age"))

## ValueError
## ...
## ValueError: Could not parse datatype: age

预期结果:

age
10
11
13

Answer 1

the following code is not working

对于单个元素，您需要一个模式作为类型

spark.createDataFrame(["10","11","13"], "string").toDF("age")

或 DataType :

from pyspark.sql.types import StringType

spark.createDataFrame(["10","11","13"], StringType()).toDF("age")

名称元素应该是元组和模式作为序列:

spark.createDataFrame([("10", ), ("11", ), ("13",  )], ["age"])