python - 应用程序需要一个文件系统元数据层

Question

我正在寻找一个位于文件之上的元数据层，它可以为处理数千个文件的应用解释文件名中的键值对信息。更多信息:

• 这些不一定是具有内置元数据的媒体文件 - 因此是键值对。
• 元数据超越了操作系统信息(文件大小等)——应用放入键值中的任何内容。
• 它应该可以通过命令行和 python 模块访问，以便我的应用程序可以与之对话。
• 添加:通用操作系统命令(cp、mv、tar 等)也应支持它，以便在复制或移动文件时它不会丢失。

我想要的功能示例包括:

• 列出 organization_id 3375 目录 x 中的文件
• 通过将 load_time 转换为年/月来报告目录 y 中的文件，并显示每个年/月组合的文件数量和大小
• 根据加载时间的键获取目录 z 中最旧的文件

嵌入了这种简单元数据的文件可能如下所示:

• bowling_state-ky_league-15_game-8_gametime-201209141830.tgz
• bowling_state-ky_league-15_game-9_gametime-201209141930.tgz

此元数据非常易于访问并且与文件紧密结合。但是 - 我宁愿避免在所有操作中都需要使用 cut 或通配符。

我环顾四周，只能找到媒体和操作系统元数据解决方案，并且不想构建已经存在的东西。

Answer 1

您查看过扩展文件属性吗？请参阅:http://en.wikipedia.org/wiki/Extended_file_attributes

基本上，您将键值对作为零终止字符串存储在文件系统本身中。您可以像这样从命令行设置这些属性:

$ setfattr -n user.comment -v "this is a comment" testfile
$ getfattr testfile
# file: testfile
user.comment
$ getfattr -n user.comment testfile
# file: testfile
user.comment="this is a comment"

要从 python 设置和查询扩展文件系统属性，您可以尝试使用 python 模块 xattr。请参阅:http://pypi.python.org/pypi/xattr

编辑大多数文件系统操作命令(例如 cp、mv 和 tar)通过添加命令行标志来支持扩展属性。例如。 cp -a 或 tar --xattr。您可能需要使这些命令透明地工作。 (您可能有不知道您的扩展属性的用户。)在这种情况下，您可以创建一个别名，例如别名 cp="cp -a".