python - 在 Pandas 中使用 read_csv 读取最后几行

Question

我有一个像这样不断增长的文件:

https|webmail.mahindracomviva.com|application/vnd.ms-sync.wbxml|158|POST|203.101.110.171
https|webmail.mahindracomviva.com||0|POST|203.101.110.171
https|webmail.mahindracomviva.com||0|POST|203.101.110.171
https|www.googleapis.com|application/x-protobuf|246|POST|74.125.200.95
https|webmail.mahindracomviva.com|application/vnd.ms-sync.wbxml|140|POST|203.101.110.171
https|webmail.mahindracomviva.com|application/x-protobuf|52|POST|203.101.110.171
https|www.googleapis.com|application/x-protobuf|502|POST|74.125.200.95
https|www.googleapis.com|application/x-protobuf|40|POST|74.125.200.95

但我只想使用 Pandas 阅读最后 50 行。

Answer 1

您必须按照以下步骤操作:

1. 首先找出 CSV 文件的长度，而不是将整个 CSV 文件加载到 ram 中。您必须在 read_csv() 中使用 chunksize。

   import pandas as pd
   count = 0
   for data in pd.read_csv('YourFile.csv',encoding = 'ISO-8859-1',chunksize  = 1000):
       count += 1                          # counting the number of chunks
       lastlen = len(data)                 # finding the length of last chunk
   datalength = (count*1000 + lastlen - 1000) # length of total file
   

2. 第二个减去您要读取的行数。

   rowsdiff = datalen - 300
   df = pd.read_csv('YourFile.csv',encoding = 'ISO-8859-1',skiprows = range(1,difrows), nrows = 299) 
   

通过这种方法，您只需读取最后几行，而无需将整个 CSV 文件加载到 ram