sql-server - 将本地 SQL Server 数据库数据以 Parquet 格式复制到 Azure

Question

这里是架构/性能问题。

我有一个本地 SQL Server 数据库，其中有约 200 个表，总计约 10TB。我需要在 Azure 中以 Parquet 格式提供这些数据，以便通过 HDInsight Spark 进行数据科学分析。

以 Parquet 格式将此数据复制/转换到 Azure(Blob 存储或 Data Lake)的最佳方法是什么？

由于任务的可管理性方面(大约 200 个表)，我最好的办法是 - 通过 sqlcmd 将数据本地提取到文件共享，将其压缩为 csv.bz2 并使用数据工厂将文件共享(使用“PreserveHierarchy”)复制到 azure 。最后运行pyspark加载数据，然后保存为.parquet。

给定表模式，我可以自动生成 SQL 数据提取和 python 脚本通过 T-SQL 从 SQL 数据库获取。

是否有更快和/或更易于管理的方法来实现这一目标？

Answer 1

ADF 通过一次性和基于计划的数据移动完美满足您的要求。

尝试 ADF 的复制向导。有了它，您只需单击几下即可直接将本地 SQL 迁移到 Parquet 格式的 blob/ADLS。

Copy Activity Overview