azure - 如何使用Azure客户端下载parquet "file"(实际上是目录)？

Question

我正在使用 az storage fs file download 来下载 parquet 目录的内容，如下所示:

az storage fs file download 
   --path myname/1/batch-repo/form/Fulfillment/2022/01/02/batch-form-Fulfillment.parquet/  
   --account-name my-storage-account --f my-container

已尝试下载，但显然 az cli 不知道这是 Parquet 并且无法处理它 - 无论是在目录级别还是单个文件:

ValueError: This pipeline didn't have the RawDeserializer policy; can't deserialize

是否有任何解决方法可以下载 parquet 文件的内容？

Answer 1

从我这边复制后，我在使用与您相同的脚本下载目录时收到了相同的错误。

我可以看到各个文件是通过以下脚本下载的。

az storage fs file download -f container --path dir1/part-00004-a9e77425-5fb4-456f-ba52-f821123bd193-c000.snappy.parquet --account-name <ACCOUNT_NAME> --account-key "<ACCOUNT_KEY>"

但是，如果您尝试在目录级别下载，则必须使用 az storage fs directory download。下面是对我有用的完整脚本。

az storage fs directory download -f container -d folder1 -s dir1 --account-name adls76224157 --account-name <ACCOUNT_NAME> --account-key "<ACCOUNT_KEY>"

结果:

下面是我的文件的结构