python - 有没有比通过数组更有效地处理大量数据的方法？

Question

嘿，我正在为使用 Python 设置的物理测量编写数据采集和分析软件。在这个过程中，我收集了大量的数据点(很容易达到 1.000.000 或更多)，我随后将对其进行分析。到目前为止，我使用的是 float 数组，原则上它可以完成这项工作。然而，随着每次测量使用越来越多的数据点，我对获取的数据产生了奇怪的影响，这让我想知道数组的处理是否效率如此低下，以至于写入它们会导致数据采集的时间显着延迟循环。

有这种可能吗？您对如何改进写入过程中的处理时间(微秒级)有什么建议，或者这不是可能的影响，我需要看看其他地方吗？

提前致谢!

Answer 1

你是说列表吗？您可以使用 NumPy高效和高性能地处理数值数组。

来自 NumyPy 网站:

First of all, they are great for performing calculation relying heavily on mathematical and numerical operations. They can work natively with matrices and arrays, perform operations on them, find eigenvectors, compute integrals, solve differential equations.

NumPy’s array class (which is used to implement the matrix class) is implemented with speed in mind, so accessing NumPy arrays is faster than accessing Python lists. Further, NumPy implements an array language, so that most loops are not needed.