python - 如何在 pytables 中创建可以存储 Unicode 字符串的压缩数据集？

Question

我正在使用 PyTables 来存储一个数据数组，它工作正常；除了它，我还需要存储一个中等大小 (50K-100K) 的包含 JSON 数据的 Unicode 字符串，我想对其进行压缩。

我如何在 PyTables 中执行此操作？自从我使用 HDF5 以来已经有很长时间了，我不记得存储字符数组以便压缩它们的正确方法。 (我似乎无法在 PyTables 网站上找到这样做的类似示例。)

Answer 1

PyTables 本身还不支持 unicode。存储unicode。首先将字符串转换为字节，然后存储长度为 1 的字符串或 uint8 的 VLArray。要获得压缩，只需使用具有非零 complevel 的 Filters 实例实例化您的数组。

我所知道的所有存储 JSON 数据的示例都是使用 HDF5 C-API 实现的。