python-3.x - Psycopg2 - 如何进行大型查询 - 超过 100 万行

Question

所以我正在尝试从本地的 postgresql 数据库进行大量查询。

'processrecords' 函数返回一个恶意软件对象列表，我假设每次运行服务器端游标时我都需要向主列表添加一个新列表。

我有点困惑，我该如何正确地做到这一点。

我想我需要使用服务器端游标，否则程序会用 Psycopg2 耗尽内存。但我听说过有关服务器端游标的好消息。

with connection:

    cursor = connection.cursor()
    with cursor:
        cursor.itersize = 20000
        cursor.execute("SELECT malware_id, malwarehashmd5, malwarehashsha1, malwarehashsha256g FROM malwarehashesandstrings")
        listoffetchedmalware = cursor.fetchall()


        listofmalwareobjects = processrecords(listoffetchedmalware)

Answer 1

对于 the documentation :

Psycopg wraps the database server side cursor in named cursors. A named cursor is created using the cursor() method specifying the name parameter.

尝试:

with connection:

    cursor = connection.cursor('my_cursor')
    ...

但是，fetchall() 仍将一次返回所有行。如果要处理桶中的数据，请使用 fetchmany()在一个循环中，例如

with connection.cursor(name="my_cursor") as cursor:

    cursor.itersize = 20000
    cursor.execute(the_query)
    
    listoffetchedmalware = cursor.fetchmany(cursor.itersize)
    
    while len(listoffetchedmalware) > 0:
    
        listofmalwareobjects = processrecords(listoffetchedmalware)
        listoffetchedmalware = cursor.fetchmany(cursor.itersize)