Python 连接到具有不同 SQL 方言的多个服务器？

Question

问题:如何通过 Python 运行 SQL 查询以从可能具有不同 SQL 方言的多个服务器检索数据(例如，一个服务器方言使用 TOP X 而另一个 sample X)?

目前我有一些代码允许我对每个服务器分别运行查询(这是不够的):

    import pyodbc
    import pandas as pd
    cnxn = pyodbc.connect('DSN=dsn_name;UID=username;PWD=password')
    query = str("""
                SELECT * 
                FROM sqlserver1.tableA 
                """)
    df = pd.read_sql(query, cnxn)

目标:我想做的是加入来自不同服务器的数据，基本上我想在 Python 中有一个 SQL 查询，看起来有点像这样 - 处理不同的 SQL 方言:

        query = str("""
                    SELECT * 
                    FROM sqlserver1.tableA as sq
                    INNER JOIN teradataserver2.tableB as tera
                            ON sq.id = tera.id
                    """)

..附言我试过这样的解决方法:

        import pyodbc
        import pandas as pd
        cnxnServer1 = pyodbc.connect('DSN=dsn_name1;UID=username;PWD=password')
        cnxnServer2 = pyodbc.connect('DSN=dsn_name2;UID=username;PWD=password')

        queryServer1 = str("""
                    SELECT * 
                    FROM sqlserver1.tableA 
                    """)
        queryServer2 = str("""
                    SELECT * 
                    FROM teradataserver2.tableB 
                    """)

.. 然后使用 Pandas Merge。但是这样太没效果了。

注意:我运行的是 Python 3.7

Answer 1

如果您不想(或不能)弄乱服务器配置(例如，创建链接服务器)，那么您可以使用 SQLAlchemy's SQL Expression Language 做一些事情。创建使用 SQLAlchemy engine 对象的方言解释的语句。

例如，

from sqlalchemy import create_engine, Table, MetaData
from sqlalchemy.sql import select

cnxn_url = 'mssql+pyodbc://@SQLmyDb'
engine = create_engine(cnxn_url)
metadata = MetaData()
my_table = Table('my_table', metadata, autoload=True, autoload_with=engine)
stmt = select([my_table.c.id, my_table.c.txt])\
    .select_from(my_table)\
    .order_by(my_table.c.id)\
    .limit(2)
with engine.begin() as conn:
    print(conn.execute(stmt).fetchall())

将T-SQL语句发送到SQL Server并返回结果。

如果我们简单地将连接 URL 更改为

cnxn_url = 'mysql+pymysql://root:whatever@localhost/mydb'

然后 SQLAlchemy 将适当的 MySQL 语句发送到 MySQL 服务器。

但是，如果您真的想将数据库_A 中的一个表与数据库_B 中的另一个表连接起来，这可能还不够。在这种情况下，您会考虑将数据从各种表中提取到一个公共(public)环境中，例如 pandas DataFrames 或内存中 SQLite 数据库中的表。