azure - 无法从 azure databricks 中的存储帐户读取容器内的 delta parquet 文件

Question

spark 命令可以将输出数据帧以 delta 格式写入 python 笔记本的 omega 容器中

当尝试使用 Spark 从此 omega 容器读取增量文件时，会抛出以下错误

omega_2022_06_06_path = 'dbfs:/mnt/omega/'  + 'part-00000-234567-c000.snappy.parquet'

omega_2022_06_07_path = 'dbfs:/mnt/omega/'  + 'part-00000-987898-c000.snappy.parquet'


omega_06_06_DF = spark.read.format("delta").load(omega_2022_06_06_path)
omega_06_07_DF = spark.read.format("delta").load(omega_2022_06_07_path)



 AnalysisException: A partition path fragment should be the form like `part1=foo/part2=bar`. The partition path:part-00000-234567-c000.snappy.parquet

我不确定这里的分区片段是什么，这个omega容器只是有一些delta文件，基本上omega容器内没有目录

谁能帮我解决这个问题

Answer 1

如果您只需要读取特定文件，那么您需要使用 parquet 格式读取它们，而不是 delta 格式。 delta 格式表示整个表(所有数据文件和元数据)，而不是特定的部分。如果您需要从 Delta 表中提取特定数据，通常需要执行 spark.read.load 操作，然后使用 .filter 将范围限制为必要的数据。