python - 从 CSV 文件到 Python 的实时数据流

Question

我有一个 CSV 文件，其中包含在几分钟内记录的来自随机传感器的数据。现在我想将该数据从 CSV 文件流式传输到我的 python 代码，就好像它直接从传感器本身接收数据一样。 (该代码用于从两个不同的传感器/csv 文件中获取读数并将其取平均值。)有人建议使用 Apache Spark 来流式传输数据，但我觉得这对我来说有点太复杂了。可能有更简单的解决方案吗？

Answer 1

您也可以使用 pandas read_csv() 函数以小块读取大的 csv 文件，基本代码如下:

import pandas as pd
chunksize = 100
for chunk in pd.read_csv('myfile.csv', chunksize=chunksize):
    print(chunk)

此链接解释了它是如何工作的: http://pandas.pydata.org/pandas-docs/stable/io.html#io-chunking