Python CSV 阅读器从 line_num 开始

Question

我需要读取包含几百万行的 CSV。该文件整天都在增长。每次我处理文件(并将每一行压缩到一个字典中)后，我都会重新开始这个过程，除了只为新行创建字典。

不过，为了到达新行，我必须使用 CSV 阅读器遍历每一行，并将行号与我的“最后一行读取”编号进行比较(据我所知)。

有没有办法“跳”到那个行号？

Answer 1

你不能转到特定的行号，除非行的大小是固定的并且你知道这个大小。当我说你不能时，我的意思是你不能不将整个文件加载到内存中并按 \n 字符拆分。

如果您的 CSV 具有这样的固定行大小:

id,code,quantity
0001,ABC43,00100
0002,D2ZAD,00020
....

如果每行的长度相同，那么您可以移动到linesize*(linenumber+1)，其中linenumber 是您要移动的行。
否则，您需要遍历整个文件以获取第 n 行...它存在一个内置模块，名称为 linecache但是可以帮助您:Go to a specific line in Python?