python - 迭代巨大的 XML 文件并获取值？

Question

我想迭代用户 Stackoverflow 转储文件。问题是它非常大而且是 XML。对我来说 xml 是一个新主题。我阅读了一些文档和 Stackoverflow 帖子，但由于某种原因它不起作用。

XML 格式:

<users>
  <row Id="-1" Reputation="1" 
  CreationDate="2008-07-31T00:00:00.000" 
  DisplayName="Community" 
  LastAccessDate="2008-08-26T00:16:53.810" 
  WebsiteUrl="http://meta.stackexchange.com/" 
  Location="on the server farm" AboutMe="&lt;p&gt;Hi, I'm not really a person.&" Views="649" UpVotes="245983" DownVotes="924377" AccountId="-1" 
  />
</users>

代码:

from xml.etree.ElementTree import iterparse

for evt, elem in iterparse('data/Users.xml', events=('start','end')):
    print(evt, elem)

我得到了什么:

For 循环打印了我一堆十六进制代码。最后我得到了内存异常。也许这很正常，因为我第二次尝试它并且它迭代 xml 的速度非常快 0.13 秒

start <Element 'row' at 0x04CC16F0>
end <Element 'row' at 0x04CC16F0>
start <Element 'row' at 0x04CC1810>

希望大家能帮忙解答一下这个问题。我如何获得此输出的值？我想将它保存到 SQL 中。

所有文件大小为 199 GB(徽章、评论、帖子链接、帖子历史记录、用户、帖子、标签和投票)。该问题特定的 Users.xml 大小为 2.49 GB。但我想将 SO 中的所有数据放入数据库中。

谨此致意

Hanah开发

Answer 1

看起来您只需要循环遍历所有 row 元素的 end 事件并使用属性执行某些操作:

from xml.etree.ElementTree import iterparse

for evt, elem in iterparse('data/Users.xml', events=('end',)):
    if elem.tag == 'row':
        user_fields = elem.attrib
        print(user_fields)

这将输出:

{'DisplayName': 'Community', 'Views': '649', 'DownVotes': '924377', 'LastAccessDate': '2008-08-26T00:16:53.810', 'Id': '-1', 'WebsiteUrl': 'http://meta.stackexchange.com/', 'Reputation': '1', 'Location': 'on the server farm', 'UpVotes': '245983', 'CreationDate': '2008-07-31T00:00:00.000', 'AboutMe': "<p>Hi, I'm not really a person.", 'AccountId': '-1'}