python - 处理 xyz 数据的最佳方法

Question

我是Python新手，正在尝试找出解决数据分析问题的最佳方法。如果这个问题看起来很基本，我深表歉意。我本质上需要帮助来确定我是否想要使用元组、字典或 pandas 数据框来存储我的数据。这是我的场景:

我的数据:我有一个 3D 空间数据集，其中数据位于不均匀的 XYZ 位置。数据点的精确位置至关重要，因此我无法重新采样到均匀的网格，这会更容易处理。每个 XYZ 数据点都有一组关联的详细信息，包括字符、整数、浮点和 bool 类。我基本上有一个相当无序的数据“云”。

我的目标:我希望能够检查数据集中类型“X”的每个点，并查看给定半径内所有其他点的属性(它们是什么类型，以及各种其他特征)。

我的问题:存储和查询此类数据最有效的方法是什么？直观上，包含 x、y、z 等列的 pandas 数据框是有意义的，但考虑到我将处理大型数据集，我担心这是否是最有效的方法。创建一个 dict 对象是否明智，其中定义是 XYZ 元组，存储的值是包含点特征的进一步的 dict 对象？有没有一种我错过的明显方法可以做到这一点？

非常感谢任何帮助/建议!

提前致谢。

Answer 1

由于此用例的瓶颈似乎是对数据的空间查询，因此我会采用将坐标存储在高度优化的空间查询数据结构中的方法，然后您有一个字典，您可以在其中存储坐标。按需检索点的其他特征。高性能专用库，即用于计算几何的 boost graph 和 CGAL 遵循类似的原理(例如，请参阅 boost 中的属性映射 http://www.boost.org/doc/libs/1_37_0/libs/graph/doc/using_property_maps.html )

关于合适的数据结构，SciPy 可能有适合你的东西 http://docs.scipy.org/doc/scipy/reference/spatial.html KDTree 将是最近邻居查询的一个选项。 Pandas 可以存储数据，但它没有专门的空间索引支持。