azure - azure 突触中 Spark 笔记本管道中的文件路径错误

Question

我有一个 Spark 笔记本，我正在管道的帮助下运行它。笔记本手动运行良好，但在管道中它给出文件位置错误。在代码中，我将文件加载到数据框中。代码中的文件位置是 abfss://storage_name/folder_name/* ，在管道中它采用 abfss://storage_name/filename.parquet\n

这是错误{“错误代码”:“6002”，“message”:“org.apache.spark.sql.AnalysisException:路径不存在:abfss://storage_name/filename.parquet\n at org.apache.spark.sql.execution.datasources.DataSource$.$anonfun$ checkAndGlobPathIfNecessary$4(DataSource.scala:806)\n\n 在 org.apache.spark.sql.execution.datasources.DataSource$.$anonfun$checkAndGlobPathIfNecessary$4$adapted(DataSource.scala:803)\n\n 在 org. apache.spark.util.ThreadUtils$.$anonfun$parmap$2(ThreadUtils.scala:372)\n\n 在 scala.concurrent.Future$.$anonfun$apply$1(Future.scala:659)\n\n 在scala.util.Success.$anonfun$map$1(Try.scala:255)\n\n 在 scala.util.Success.map(Try.scala:213)\n\n 在 scala.concurrent.Future.$anonfun $map$1(Future.scala:292)\n\n 位于 scala.concurrent.impl.Promise.liftedTree1$1(Promise.scala:33)\n\n 位于 scala.concurrent.impl.Promise.$anonfun$transform$1 (Promise.scala:33)\n\n 在 scala.concurrent.impl.CallbackRunnable.run(Promise.scala:64)\n\n 在 java.util.concurrent.ForkJoinTask$RunnableExecuteAction.exec(ForkJoinTask.java:1402 )\n\n 在 java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:289)\n\n 在 java.util.concurrent.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1056)\n\n 在java.util.concurrent.ForkJoinPool.runWorker(ForkJoinPool.java:1692)\n\n 在 java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:175)\n","failureType": "用户错误",“目标”:“笔记本名称”，“细节”: []}

Answer 1

出现上述错误主要是因为权限问题，synapse工作区缺乏访问存储帐户的权限，因此需要授予storage blob Contributor角色。

要将存储帐户贡献者角色添加到您的工作区，请参阅此Microsoft documentation

此外，请务必检查您是否遵循 ADLS gen2 正确的语法。

abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/<path>

示例代码

df = spark.read.load('abfss://<container_name>@<storage_account_name>.dfs.core.windows.net/samplefile.parquet>', format='parquet')

有关更多详细信息，请参阅此 link .