azure - Azure Synapse Analytics 是否支持 python？

Question

我想做什么？

类似于 Glue-Athena 的过程。

1. S3 中的数据
2. AWS Glue(创建元数据表)
3. 可以通过 boto3(Python 库)使用 Athena 查询表

我在 Azure 云中遇到的问题

~尝试使用 Azure Synapse Analytics 复制上述过程~

1. 链接的 Azure 存储容器中的数据
2. Azure 数据工厂(创建外部表)
3. 如何使用 python 对外部表进行 T-SQL 查询？

是否有任何 python 库可以对 Azure Synapse 工作区中创建的外部表进行 T-SQL 调用？

Answer 1

是的。 PyODBC 与 Synapse 配合使用。它并不完美，但我使用它。

https://learn.microsoft.com/en-us/azure/azure-sql/database/connect-query-python

请注意，安装它可能有点棘手。您需要 Python 包，还需要 ODBC 驱动程序和 apt 包 unixodbc-dev。

这是我的 dockerfile 中在 Ubuntu 18.04 上执行此操作的部分

RUN apt update && apt install -y libpq-dev unixodbc-dev apt-transport-https ca-certificates

RUN curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add - \
&& curl https://packages.microsoft.com/config/ubuntu/18.04/prod.list >> /etc/apt/sources.list.d/mssql-release.list \
&& apt update && ACCEPT_EULA=Y apt install -y msodbcsql17