python - 在 python 中处理大型数据池

Question

我正在从事一项旨在研究人们行为的学术项目。

该项目将分为三个部分:

1. 一个程序，用于从一些远程源读取数据，并用它构建一个本地数据池。
2. 用于验证此数据池并使其保持一致的程序
3. 允许人们读取/操作数据的网络界面。

数据由一个人的列表组成，所有人都有一个 ID #，并具有几个特征:高度、体重、年龄……

我需要轻松地根据这些数据进行分组(例如:所有数据都具有给定的年龄或一定的高度范围)并且数据有几 TB 大(但可以减少为 2-3 gb 的较小子集)。

我对项目背后的理论知识有很强的背景，但我不是计算机科学家。我会 java、C 和 Matlab，现在我正在学习 python。

我想使用 python，因为它看起来很简单，并且大大减少了 Java 的冗长。问题是我想知道如何处理数据池。

我不是数据库专家，但我想我需要一个。你认为我应该使用什么工具？

请记住，目标是在数据集上实现非常高级的数学函数，因此我们希望降低源代码的复杂性。速度不是问题。

Answer 1

听起来可以从以下位置找到所需的主要功能:
pytables
和
scipy/numpy