apache-spark-sql - 使用 spark sql 重命名 Parquet 文件中列名中的空格

Question

我想使用 Spark Sql 显示 Parquet 文件的内容，但由于 Parquet 文件中的列名包含空格，我收到错误 -
属性名称“名字”在 ",;{}()\n\t="中包含无效字符。请使用别名重命名。

我写了下面的代码 -

val r1 = spark.read.parquet("filepath")
val r2 = r1.toDF()
r2.select(r2("First Name").alias("FirstName")).show()

但仍然得到同样的错误

Answer 1

首先尝试重命名列而不是别名:

r2 = r2.withColumnRenamed("First Name", "FirstName")
r2.show()