azure - 将数据从数据库移动到 Azure Blob 存储

Question

我可以使用dask.dataframe.read_sql_table读取数据，例如df = dd.read_sql_table(table='TABLE', uri=uri, index_col='field', npartitions=N)

将其保存为 Azure Blob 存储中的 parquet 文件的下一步(最佳)步骤是什么？

根据我的小型研究，有以下几种选择:

• 保存在本地并使用https://learn.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-blobs?toc=/azure/storage/blobs/toc.json (不适合大数据)
• 我相信adlfs是从 blob 中读取
• 使用dask.dataframe.to_parquet并弄清楚如何指向 blob 容器
• intake项目(不知道从哪里开始)

Answer 1

$ pip install adlfs

dd.to_parquet(
    df=df, 
    path='absf://{BLOB}/{FILE_NAME}.parquet', 
    storage_options={'account_name': 'ACCOUNT_NAME',
                     'account_key': 'ACCOUNT_KEY'},
    )