apache-spark - 如何指定saveAsTable保存文件的路径？

Question

我正在尝试使用 DataFrameWriter 在 Spark1.4 中的 pyspark 中将 DataFrame 保存到 S3

df = sqlContext.read.format("json").load("s3a://somefile")
df_writer = pyspark.sql.DataFrameWriter(df)
df_writer.partitionBy('col1')\
         .saveAsTable('test_table', format='parquet', mode='overwrite')

Parquet 文件转到“/tmp/hive/warehouse/....”，这是我的驱动程序上的本地 tmp 目录。

我确实将 hive-site.xml 中的 hive.metastore.warehouse.dir 设置为“s3a://....”位置，但 spark 似乎不尊重我的 hive 仓库设置。

Answer 1

使用 path .

df_writer.partitionBy('col1')\
         .saveAsTable('test_table', format='parquet', mode='overwrite',
                      path='s3a://bucket/foo')