python - 如何使用 Spark (pyspark) 编写 Parquet 文件？

Question

我是 Spark 的新手，我一直在尝试将 Dataframe 转换为 Spark 中的 parquet 文件，但我还没有成功。 documentation说我可以使用 write.parquet 函数来创建文件。但是，当我运行脚本时，它显示:AttributeError: 'RDD' object has no attribute 'write'

from pyspark import SparkContext
sc = SparkContext("local", "Protob Conversion to Parquet ")

# spark is an existing SparkSession
df = sc.textFile("/temp/proto_temp.csv")

# Displays the content of the DataFrame to stdout
df.write.parquet("/output/proto.parquet")

你知道怎么做吗？

我使用的 spark 版本是为 Hadoop 2.7.3 构建的 Spark 2.0.1。

Answer 1

错误是由于 SparkContext 的 textFile 方法返回了一个 RDD 而我需要的是一个 DataFrame 。

SparkSession 在底层有一个 SQLContext。所以我需要使用 DataFrameReader 正确读取 CSV 文件，然后再将其转换为 parquet 文件。

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("Protob Conversion to Parquet") \
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()

# read csv
df = spark.read.csv("/temp/proto_temp.csv")

# Displays the content of the DataFrame to stdout
df.show()

df.write.parquet("output/proto.parquet")