java - 如何从分布式环境访问位于 S3 存储桶中的 DBFS 文件？

Question

我的文件存储在 prod 和 test 环境中的 S3 存储桶中。我的代码将在两个环境的分布式系统中执行。我想从 DBFS 访问文件，因为 DBFS 由 S3 支持，并且它的存储桶安装是指向 S3 位置的指针。

如何在不知道代码执行位置(生产或测试)的情况下访问文件？目前我已成功访问测试环境上的文件，如下所示:

private static final File DATA_FILE = new File("/dbfs/mnt/test-env-bucket/data/test-data.json");

但我需要提供 DBFS 文件的相对路径，例如 /data/test-data.json 并以某种方式检测我们是在 prod 还是 测试 环境并相应地选择存储桶。如果 S3 上的 test-env-bucket 和 prod-env-bucket 中都存在 test-data.json 文件，我该如何实现此目的？

Answer 1

你有两个databricks实例吗？

尝试像这样安装不同的点

产品:

dbutils.fs.mount("s3a://%s:%s@%s" % (ACCESS_KEY, ENCODED_SECRET_KEY, AWS_PRODUCTION_BUCKET_NAME), "/mnt/data")

开发人员:

dbutils.fs.mount("s3a://%s:%s@%s" % (ACCESS_KEY, ENCODED_SECRET_KEY, AWS_DEVELOP_BUCKET_NAME), "/mnt/data")

并且仅使用:

private static final File DATA_FILE = new File("/dbfs/mnt/data/test-data.json");