python - 如何从大型 yaml 文件中获取部分数据？

Question

我有一个很大的 yaml 文件，其中包含一些无用的数据。当使用yaml.load()加载这个文件时，内存消耗超出了我们计算机的物理限制。我读不懂。我是否只能读取 python 字典所需的部分数据？有一些库或代码可以解决这个问题吗？

Answer 1

使用 PyYaml，您可以执行以下操作:

with open("file.yaml", 'r') as handle:
  for event in yaml.parse(handle):
    # handle the event here

这会逐个处理 YAML 文件，而不是将其全部加载到数据结构中。当然，您现在需要从事件流中手动解析结构，但这允许您不进一步处理部分数据。

你可以看看PyYaml的Composer implementation了解它如何从事件构造 Python 对象，以及它期望从事件流中获得什么结构。