azure - 如何将分区的 parquet 文件写入 blob 存储

Question

我想通过 ADF 中的复制事件将数据从本地 SQL SERVER 加载到 Blob 存储，目标文件是 parquet，该文件的大小为 5 Gb。

管道运行良好，他编写了一个 Parquet 文件，现在我需要将此文件拆分为多个 Parquet 文件，以优化使用 Poly 基加载数据并用于其他用途。

使用 Spark，我们可以通过以下语法将文件分区为多个文件:

df.repartition(5).write.parquet("路径")

Answer 1

简短的问题，简短的回答。

分区数据:https://learn.microsoft.com/en-us/azure/data-factory/how-to-read-write-partitioned-data

Parquet 格式:https://learn.microsoft.com/en-us/azure/data-factory/format-parquet

Blob 存储连接器:https://learn.microsoft.com/en-us/azure/data-factory/connector-azure-blob-storage

希望这有帮助!