database - Python:来自 CSV 数据的惰性数据库？

Question

我有一个相对较小(<100K)的数字 CSV 数据集，我想用一些 numpy 和 pylab 实用程序处理和绘制图表，我突然想到，如果-用于提取相关实验场景和比较的梯子。

如果此数据位于数据库而不是 CSV 中，这将不是问题，但为此而将“真实”数据库实例放在一起似乎有点矫枉过正。是否有针对我正在寻找的 pythonic 解决方案？

TL;DR 想要像查询数据库一样查询 CSV 文件/将 CSV 文件移动到迷你数据库中。

Answer 1

在不知道您案例的任何具体细节(完全)的情况下，我希望您最终会发现以下阶梯之一作为您案例的主要阶梯:

• 只需使用内置的 Python sqlite3 .
  • 但是，如果关系模型不是必需的，那么 pytables可能是继续前进的方式。
    • 也许还是，structured arrays可以提供必要的功能。
      • 但只要正确使用普通 logic functions 仍然可以实现很多目标.
        • 毕竟，要熟悉与您的可笑的自定义 if 阶梯一起生活。

显然，上面勾画的任何阶梯都有其特定的优缺点，具体取决于实际情况。因此，真正仔细地混合它们可能最终会产生最佳的“整体”结果。