python - 如何使用 Dask 在 read_sql_table 中使用 sqlalchemy 表达式？

Question

我正在使用df = dd.read_sql_table('mytable_name', 'connection_string',npartitions=10, index_col='id')创建一个 Dask 数据框，它运行良好。但它占用了表的所有行。我想限制行数或应用一些条件。为此，根据官方文档read_sql_table我们可以使用 sqlalchemy 表达式。我正在尝试编写 sqlalchemy 表达式，但没有一种方法对我有用。

我尝试过这样的:

engine = create_engine(connection_string)

metadata = MetaData()

t = Table('mytable_name', metadata,
Column('id'),
schema='my_schema')
s = select([t]).limit(500)
dd.read_sql_table(s, connection_string, index_col='id')

但这也不起作用。这是我在sqlalchemy官方文档中找到的sqlalchemy表达式。

帮我解决read_sql_table中传递sqlalchemy表达式的方法使用 Dask。

提前致谢。

Answer 1

术语“表达式”在这里有点重载。您正在使用 ORM 表示，但 Dask 需要较低级别的 SQL 函数表达式语法。就你而言，我相信它看起来像

from sqlalchemy import sql
expr = sql.select([sql.column("id")]).select_from(
        sql.table("mytable_name")
    ).limit(500)

我不知道如何将架构放入其中。