gpt4 book ai didi

python - 如何通过使用python在spark中使用参数化的多列创建分区?

转载 作者:行者123 更新时间:2023-12-02 20:21:56 24 4
gpt4 key购买 nike

我想从paramfile中读取多个列,并希望将varialbe传递给PartitionBy()函数。我能够通过对列名称进行硬编码来按多个列进行分区。
喜欢:

def save_to_table(dataframe, db_name, tbl_nm):
dataframe.write.mode("Append").format("parquet").partitionBy("year","month","day").saveAsTable("{}.{}".format(db_name, tbl_nm))
print("Table saved")

工作正常。

但问题是:
我试图从配置文件中读取并将所有列名称存储到列表中,如下所示
pPartitionKey=["year","month","day"]

但不知道如何将列表pPartitionKey传递给PartitionBy()函数。

在这种情况下,有人可以帮我吗?

最佳答案

partitionBy将可变数量的列名作为输入,但不作为列表。您可以利用asterix *来实现所需的功能。

def save_to_table(dataframe, db_name, tbl_nm, pPartitionKey):
dataframe.write.mode("Append").format("parquet").partitionBy(*pPartitionKey).saveAsTable("{}.{}".format(db_name, tbl_nm))
print("Table saved")

关于python - 如何通过使用python在spark中使用参数化的多列创建分区?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59904702/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com