hadoop - 如何更改 pyspark 中的 hdfs block 大小？

Question

我使用 pySpark 编写 parquet 文件。我想更改该文件的 hdfs block 大小。我这样设置 block 大小，但它不起作用:

sc._jsc.hadoopConfiguration().set("dfs.block.size", "128m")

这是否必须在启动 pySpark 作业之前设置？如果可以，怎么做。

Answer 1

尝试通过 sc._jsc.hadoopConfiguration() 和 SparkContext 设置它

from pyspark import SparkConf, SparkContext 
conf = (SparkConf().setMaster("yarn")) 
sc = SparkContext(conf = conf)
sc._jsc.hadoopConfiguration().set("dfs.block.size", "128m")
txt = sc.parallelize(("Hello", "world", "!"))
txt.saveAsTextFile("hdfs/output/path") #saving output with 128MB block size

在 Scala 中:

sc.hadoopConfiguration.set("dfs.block.size", "128m")