python - SQLite 还是纯文本文件？

Question

我处理大量在 Python、R 和 Matlab 之间交换的文本/数据。

我最喜欢的是平面文本文件，但偶尔也会使用 SQLite 来存储数据和从每个程序访问(虽然还不是 Matlab)。我不像在 R 中那样在 SQL 中使用 GROUPBY、AVG 等，所以我不一定需要数据库操作。

对于需要在程序之间交换数据以利用每种语言的可用库的此类应用程序，是否有关于使用哪种数据交换格式/方法(甚至是 XML 或 NetCDF 或 HDF5)的良好经验法则？

我知道在 Python -> R 之间有 rpy 或 rpy2，但我在更一般意义上想知道这个问题 - 我使用许多没有 rpy2 的计算机，并且还使用了一些其他的科学分析软件需要在不同时间访问数据(处理和分析的阶段也是分开的)。

Answer 1

如果所有语言都支持 SQLite - 使用它。 SQL 的强大功能现在可能对您没有用，但它可能在某个时候对您有用，并且当您决定希望能够以更复杂的方式查询数据时，它可以避免您以后不得不重写东西。

如果您只想访问数据存储中的某些数据位，SQLite 也可能会快得多 - 因为如果不读取整个文件(尽管并非不可能)，使用纯文本文件执行此操作具有挑战性。