python - 在读取 csv 或 tsv 文件之前在 Pandas DataFrame 列上应用条件

Question

如果我已经知道列名和类型，是否可以在读取 csv 或 tsv 文件之前为 DataFrame 列设置条件(过滤器)？如果是，如何？

例如:考虑在一个非常大的文件中有两个数字列(col1 和 col2)。我不想将整个文件加载到内存中，只选择 col1 大于 col2 的那些行。因此，首先，我想在数据帧上设置条件，它应该只读取 csv 文件中 col1 大于 col2 的那些行。我希望我的解释有意义。

谢谢

Answer 1

您可以使用 blaze为此，这是与 pandas 一起使用的便捷工具。

让我们假设一个输入文件:

a,b
1,2
3,4
5,3
3,6
6,1

然后我们打开文件并查询数据 - 请注意，在您尝试具体化/访问它之前不会执行查询:

import blaze
import pandas as pd

csv_data = blaze.Data('input.csv')
query = csv_data[csv_data['a'] > csv_data['b']]
df = pd.DataFrame.from_records(query, columns=query.fields)

然后给出 df 为:

   a  b
0  5  3
1  6  1