amazon-ec2 - 我应该将我的 AWS 访问 key 添加到哪个 core-site.xml？

Question

我想针对存储在我的 S3 存储桶中的数据在 EC2 上运行 Spark 代码。据 Spark EC2 documentation和 Amazon S3 documentation ，我必须将我的 AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 添加到 core-site.xml 文件中。但是，当我进入我的主 EC2 节点时，我看到了几个 core-site.xml 文件。

$ find . -name core-site.xml
./mapreduce/conf/core-site.xml
./persistent-hdfs/share/hadoop/templates/conf/core-site.xml
./persistent-hdfs/src/packages/templates/conf/core-site.xml
./persistent-hdfs/src/contrib/test/core-site.xml
./persistent-hdfs/src/test/core-site.xml
./persistent-hdfs/src/c++/libhdfs/tests/conf/core-site.xml
./persistent-hdfs/conf/core-site.xml
./ephemeral-hdfs/share/hadoop/templates/conf/core-site.xml
./ephemeral-hdfs/src/packages/templates/conf/core-site.xml
./ephemeral-hdfs/src/contrib/test/core-site.xml
./ephemeral-hdfs/src/test/core-site.xml
./ephemeral-hdfs/src/c++/libhdfs/tests/conf/core-site.xml
./ephemeral-hdfs/conf/core-site.xml
./spark-ec2/templates/root/mapreduce/conf/core-site.xml
./spark-ec2/templates/root/persistent-hdfs/conf/core-site.xml
./spark-ec2/templates/root/ephemeral-hdfs/conf/core-site.xml
./spark-ec2/templates/root/spark/conf/core-site.xml
./spark/conf/core-site.xml

经过一些实验，我确定我可以访问像 s3n://mcneill-scratch/GR.txt 这样的 s3n 网址。仅当我将凭据添加到 mapreduce/conf/core-site.xml 和 spark/conf/core-site.xml 时才来自 Spark。

这对我来说似乎是错误的。不是 DRY ，而且我在文档中找不到任何说明您必须将凭据添加到多个文件的内容。

修改多个文件是通过 core-site.xml 设置 s3 凭据的正确方法吗？是否有文档解释了这一点？

Answer 1

./spark/conf/core-site.xml应该是正确的地方