amazon-web-services - Pyspark AWS凭证

Question

我正在尝试运行在本地计算机上运行的PySpark脚本，该脚本可以正常运行。
问题是我想从S3中获取输入文件。

不管我尝试什么，尽管我似乎都找不到在哪里设置ID和密码。我找到了有关特定文件的一些答案
例如:Locally reading S3 files through Spark (or better: pyspark)
但是我想在整个代码中重用sql上下文时，为整个SparkContext设置凭据。

所以问题是:如何设置AWS Access key 和 secret 来激发？

PS我尝试了$ SPARK_HOME/conf/hdfs-site.xml和环境变量选项。都没用...

谢谢

Answer 1

对于pyspark，我们可以如下设置凭据

  sc._jsc.hadoopConfiguration().set("fs.s3n.awsAccessKeyId", AWS_ACCESS_KEY)
  sc._jsc.hadoopConfiguration().set("fs.s3n.awsSecretAccessKey", AWS_SECRET_KEY)