python - Spark RDD 的模式定义

Question

我是 Python Spark 的新手。我有以下 spark 数据框和 json 对象

df = sqlContext.read.load("result.json", format="json")

Json对象:

df.collect() 

[Row(Dorothy=[u'CA', u'F', u'1910', u'220'], Frances=[u'CA', u'F', u'1910', u'134'], Helen=[u'CA', u'F', u'1910', u'239'], Margaret=[u'CA', u'F', u'1910', u'163'], Mary=[u'CA', u'F', u'1910', u'295'])]

当我尝试将字段名称分配给上述值时

df.select(Row("Name" =["State","Gender","Year","Count"])).write.save("result.json",format = 'json')

我收到错误，低于错误。能否请您帮助如何为上述数据定义架构

Py4JError: An error occurred while calling z:org.apache.spark.sql.functions.col. Trace:py4j.Py4JException: Method col([class java.util.ArrayList]) does not exist

Answer 1

加载 json 文档后，您已经有了架构，因此您可以执行 df.printSchema()，这样您就不需要使用 Row 类。

所以你应该能够做类似的事情

df.select(df['State'], df['Gender'], df['Year'], df['Count'])

或

df.select('State', 'Gender', 'Year', 'Count')

当您使用 Row 类时，您将键值对作为命名参数传递给它，例如

rows = [Row(name='John', age=10)]

它用于构建带有行列表的数据帧，例如

df = sqlContext.createDataFrame(行)