pyspark - pyspark 的控制台输入

Question

Pyspark 中是否有一个 input() 函数，我可以通过它获取控制台输入。如果是，请详细说明一下。

如何在 PySpark 中编写以下代码:

directory_change = input("Do you want to change your working directory ? (Y/N)")
sc.input("Do you want to change your working directory ? (Y/N)")
a = directory_change.upper()
if a == "Y" or a == "YES" :
        directory = input("Enter your working directory")
        directory = directory.replace("\\","/")
        os.chdir(directory)

`

Answer 1

这样不行。

要达到相同的效果，您可以尝试在提交任务时使用 application-arguments 向脚本提供参数。比照the doc on spark-submit