python - 带有参数的 pyspark foreach

Question

阅读 pyspark 文档我知道 foreach 是这样完成的:

def f(x): print(x)
sc.parallelize([1, 2, 3, 4, 5]).foreach(f)

但是，如果我使用带有多个参数的函数怎么办？

一个例子:

def f(x,arg1,arg2,arg3): 
    print(x*arg1+arg2+arg3)

关键是要使用类似于此语法的内容:

sc.parallelize([1, 2, 3, 4, 5]).foreach(f(arg1=11,arg2=21,arg3=31))

Answer 1

你可以创建一个partial函数:

<b>from functools import partial</b>

sc.parallelize([1, 2, 3, 4, 5]).foreach(
    <b>partial(</b>f, arg1=11, arg2=21, arg3=31<b>)</b>
 )

partial 将函数和一系列未命名 (*args) 和命名 (**kwargs) 参数作为输入，并生成一个 新 函数，如果您调用该函数，它将调用原始函数 f，其中已填入未命名和命名参数。