r - 通过 R 访问 Azure Blob 存储

Question

我正在尝试使用 R 连接到存储了一些 CSV 文件的 Azure Blob。我需要将它们加载到数据框中并对它们进行一些转换，然后再将它们写回另一个 Blob 容器。我正在尝试通过 Databricks 来完成此操作，以便最终可以从数据工厂调用此笔记本并将其包含在管道中。

Databricks 为我提供了一个 Python 示例笔记本，可以使用以下代码进行连接:

storage_account_name = "testname"
storage_account_access_key = "..."
file_location = "wasb://<a href="https://stackoverflow.com/cdn-cgi/l/email-protection" class="__cf_email__" data-cfemail="e5809d8488958980a5918096918b848880cb87898a87cb868a9780cb928c8b818a9296cb8b8091" rel="noreferrer noopener nofollow">[email protected]</a>/testfile.csv"

spark.conf.set(
  "fs.azure.account.key."+storage_account_name+".blob.core.windows.net",
  storage_account_access_key)

df = spark.read.format('csv').load(file_location, header = True, inferSchema = True)

R中有类似的东西吗？如果 R 中的 SparkR 或 Sparklyr 包可以帮助我加载文件并将其放入 Spark 数据帧中，我可以使用它。

Answer 1

供您引用，我已获悉 R 无法进行实际安装。解决方法是使用另一种语言(例如 Python)安装并使用库“SparkR”读取文件，如下所示。

为 Spark 提供 R 接口(interface)的两个最常用的库是 SparkR 和 Sparklyr。 Databricks 笔记本和作业支持这两个包，但您不能对同一对象使用 SparkR 和 Sparklyr 中的函数。

使用 Python 挂载:

使用库“SparkR”运行 R 笔记本: