python - SQLite3executemany()在多个表上插入的生成器的高效设计

Question

我正在将一堆大型 xml 文件解析到 python 中的 sqlite3 数据库中。据我所知，(尽管我非常愿意并寻求更高性能的选项)更高性能的选项是 sqlite3 的 executemany() 插入函数。

我目前正在做的事情的要点如下:

document_dir = '/documents'

Document = named_tuple('Document', 'doc_id doc_title doc_mentioned_people ... etc')
People = named_tuple('People', 'doc_id first_name last_name ... ') 

class DocumentXML(object):
    """
    ... there's some stuff here, but you get the idea

    """

    def parse_document(path):
        """
        This object keeps track of the current 'document' type element from a cElementTree.iterparse() elsewhere

        I've simplified things here, but you can get the idea that this is providing a named tuple for a generator
        """
        doc_id = _current_element.findall(xpath = '../id')[0].text
        doc_title = _current_element.findall(xpath = '../title')[0].text

        # parse lists of people here

        doc_mentioned_people = People(first_name, last_name, ..., person_id)
        #etc...
        return Document(doc_id, doc_title, doc_mentioned_people, ..., etc)

def doc_generator():
    documents = parse_document(document_dir)
    for doc in documents:
        yield doc.id, doc.title, ..., doc.date



# Import into Table 1
with cursor(True) as c:
        c.executemany("INSERT INTO Document VALUES (?,?,?,?,?,?,?,?,?,?,?);", doc_generator())



def people_generator():
    documents = parse_document(document_dir)
    for doc in documents:
        people = doc.people
        yield people.firstname, people.lastname ..., people.eyecolor


# Import into Table 2
with cursor(True) as c:
        c.executemany("INSERT INTO Document VALUES (?,?,?,?,?,?,?,?,?,?,?);", people_generator())


# This goes on for several tables...

正如您所看到的，这里的效率非常低下。每个 xml 文件都会被一遍又一遍地解析，解析次数与数据库中的表相同。

我想仅利用 XML 的一种解析(因为我可以在一个命名元组中生成所有相关信息)，但将结构保留为生成器，以免将内存需求增加到不可行的水平。

有什么好的方法吗？

我的尝试一直围绕使用executemany 和双插入类型的语句，例如:

c.executemany("
    INSERT INTO Document VALUES (?,?,?,?,?,?,?,?,?,?,?);
    INSERT INTO People VALUES (?,?,?,?,?,?,?); 
    INSERT INTO Companies VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?); 
    INSERT INTO Oils VALUES (?,?,?,?,?,?,?); 
    INSERT INTO Physics VALUES (?,?,?,?,?,?,?,?,?,?,?)",
        complete_data_generator())

其中complete_data_generator()生成所有相关的结构化信息；但是，我知道这可能行不通。

是否有更好的方法来构建它以提高性能？

Answer 1

如果您的小文档很少，您可以将所有内容加载到内存中，并且不再为重新解析文档而烦恼。

如果您只有一个表需要提供数据，那么生成器方法就可以了。

如果这两种方法都不合适，我会尝试中级方法:

• 解析一堆 XML 文件并积累一些 doc 元素
• 当您有合理数量的可用文档时，您可以暂停解析，并开始在该数量的文档上使用executemany向数据库表提供数据
• 插入那袋文档后，您可以选择释放 SQLite 日志文件，然后继续解析

优点:

• 文件仅解析一次
• 可以通过中间提交控制 SQLite 数据库上的负载
• 您仍然使用executemany

缺点:

• 多次调用 executemany，具体取决于数据量
• 每次提交都需要一些时间