python - PyYAML文件高效管理

Question

我正在编写一个 Python 程序，它维护一个联系人列表，每个联系人列表有 3 个字段:

1. 姓名
2. 电话号码
3. 电子邮件

联系人需要保存在 YAML 结构化文件中，并且该程序应该提供添加新联系人的功能。

我的代码是:

class contacts:
    def add_contact(self,file,contact):
        if not os.path.exists(file):
            #Creating for the first time
            temp = []
            temp.append(contact)
            with open(file, "w") as file_desc:
                yaml.dump(temp, file_desc, default_flow_style=False)
            file_desc.close()
        else:
            #Second onwards
            with open(file, "r") as file_desc:
                loaded = yaml.safe_load(file_desc)
                loaded.append(contact)
                with open(file, "w") as file_desc2:
                    yaml.dump(loaded, file_desc2, default_flow_style=False)
                    file_desc2.close()
            file_desc.close()

if __name__ == "__main__":

    data1 = {'name' :'Abcd', 'phone': 1234, 'email': 'abcd@gmail.com'}
    data2 = {'name': 'efgh', 'phone': 5678, 'email': 'efgh@gmail.com'}
    contact = contacts()
    contact.add_contact("contacts.yaml", data1)
    contact.add_contact("contacts.yaml",data2)

我认为这是一个低效的实现。如果我们有 100 万个联系人，并且想要添加一个新联系人，这将首先读取所有联系人，将一个添加到列表中，然后再次写入所有 100 万+1 个联系人。有没有办法只添加新联系人而不必再次写入整个文件。我想阅读很重要，因为我不想存储重复的联系人，这需要比较。任何其他有效的方法也将受到赞赏。

Answer 1

在长时间运行的程序/进程P中确实不需要重新读取数据。有几点需要记住:

1. 如果你只在其他程序中使用YAML文档时P已经停止了，那么只需在P退出时将文件写出即可。您可能想使用 atexit 来执行此操作,如果您没有单一导出点

2. 如果其他程序可能在 P 运行时编辑/更新列表，则确保检查 YAML 文件的日期时间戳并且添加新联系人之前重新读取该文件。如果有需要，您可以使用锁来确保一次只有一个程序，更新文件。

3. 如果其他程序需要最新的 YAML 文档，您可以要么在每次更新时写出 YAML，要么您可以使用一些通知P需要编写YAML文档的机制。我都用过SIGINT处理和基于 ZeroMQ 的通信来做到这一点。

如果您使用真实的数据库，并且对于简单的记录表，所有记录都具有相同的字段，这可能是一个更好的选择。然而，一旦事情变得更加复杂:每条记录的不同字段，复杂且可能的递归数据，然后许多(SQL)数据库成为一个额外的问题，而不是提供帮助解决你试图解决的问题。

<小时/>

ruamel.yaml.base (免责声明:我是该包的作者)确实第 2 项)对于您来说是开箱即用的，其他两项很容易也实现了。唯一棘手的是 YAMLBase通常期望新文件的根级别有一个映射/字典，所以当文件尚不存在时，需要进行一些强制转换。

执行pip install ruamel.yaml.base后:

import os
import ruamel.yaml
from ruamel.yaml.base import YAMLBase

yaml_path = 'contacts.yaml'

class Contacts(YAMLBase):
   def __init__(self, path=yaml_path, verbose=0):
       self._create_ok = True  # so the file is auto created if it doesn't exists
       super().__init__(path=path, verbose=verbose)
       if not os.path.exists(yaml_path):
           # this is necessary to force block style sequence at the top
           self._data = ruamel.yaml.comments.CommentedSeq()
           self._changed = True

   def add_record(self, contact):
       self.data.append(contact)
       self._changed = True  # this signals that writing is necessary

   def dump_file(self):
       """dump the contents of the file on disc"""
       print('dumping: "{}"'.format(self._path))
       with open(yaml_path) as fp:
           print(fp.read(), end='')



data1 = {'name' :'Abcd', 'phone': 1234, 'email': 'abcd@gmail.com'}
data2 = {'name': 'efgh', 'phone': 5678, 'email': 'efgh@gmail.com'}

contacts = Contacts()
contacts.add_record(data1)
contacts.save()  # optional
contacts.dump_file()

# this is just for checking 

contacts.add_record(data2)
contacts.save()
contacts.dump_file()

给出:

dumping: "contacts.yaml"
- name: Abcd
  phone: 1234
  email: abcd@gmail.com
dumping: "contacts.yaml"
- name: Abcd
  phone: 1234
  email: abcd@gmail.com
- name: efgh
  phone: 5678
  email: efgh@gmail.com

如果将 verbose 参数设置为 1，您将获得一些信息在标准输出上了解包中发生的情况。

如果您有大量记录，那么您可能需要更改 Contacts 中的 self.data到 self.fast_data，然后这将使用更快的基于 C 的加载 YAMLloader，代价是无法保存(手工添加)输入 YAML 中的注释等。 (无论哪种情况，都会使用“safe_load”)。