shuffle - 使用最新spark版本时如何设置spark.sql.shuffle.partitions

Question

我想重置 pyspark 代码中的 spark.sql.shuffle.partitions 配置，因为我需要加入两个大表。但是以下代码在最新的spark版本中不起作用，错误说“xxx中没有方法“setConf””

#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
import pyspark
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local')
spark = SparkSession(sc)

spark.sparkContext.setConf("spark.sql.shuffle.partitions", "1000")
spark.sparkContext.setConf("spark.default.parallelism", "1000")

# or using the follow, neither is working 
spark.setConf("spark.sql.shuffle.partitions", "1000")
spark.setConf("spark.default.parallelism", "1000")

我现在想知道如何重置“spark.sql.shuffle.partitions”。

Answer 1

SparkSession 提供了一个 RuntimeConfig 接口(interface)来设置和获取 Spark 相关参数。你的问题的答案是:

spark.conf.set("spark.sql.shuffle.partitions", 1000)

引用: https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.RuntimeConfig

我错过了你的问题是关于 pyspark 的。 Pyspark 有一个类似的界面 spark.conf .
引用: https://spark.apache.org/docs/latest/api/python/pyspark.sql.html?highlight=sparksession#pyspark.sql.SparkSession.conf