python - 寻找一种更有效的方法在 Python 中重组大量 CSV

Question

我一直在处理一个问题，我的数据来自一个大型输出 .txt 文件，现在必须以 .csv 的形式解析和重组某些值。

我已经编写了一个脚本，根据数据的类型(航类 ID、纬度、经度等)将所有数据输入列中的 .csv，但顺序不正确。所有值都应根据相同的航类 ID 进行分组，按照从最早时间戳到最晚时间戳的顺序。幸运的是，我的 .csv 中的所有值都按正确的时间顺序排列，但没有根据航类 ID 适本地组合在一起。

为了澄清我的描述，现在看起来像这样，

(“时间x”只是为了说明):

20110117559515, , , , , , , , ,2446,6720,370,42  (Time 0)                               
20110117559572, , , , , , , , ,2390,6274,410,54  (Time 0)                               
20110117559574, , , , , , , , ,2391,6284,390,54  (Time 0)                               
20110117559587, , , , , , , , ,2385,6273,390,54  (Time 0)                               
20110117559588, , , , , , , , ,2816,6847,250,32  (Time 0) 
... 

应该这样排序:

20110117559515, , , , , , , , ,2446,6720,370,42  (Time 0)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42  (Time 1)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42  (Time 2)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42  (Time 3)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42  (Time N)
20110117559572, , , , , , , , ,2390,6274,410,54  (Time 0)
20110117559572, , , , , , , , ,23xx,62xx,4xx,54  (Time 1)
... and so on

为了简化操作，我输出的 .csv 中有 130 万行。我有 99% 的信心在我为修复排序而编写的下一个脚本中的逻辑是正确的，但我担心它效率极低。我最后添加了一个进度条，只是为了看看它是否取得了任何进展，不幸的是，这就是我所看到的:

这是我处理运算的代码(如果你愿意，可以跳到问题区域):

## a class I wrote to handle the huge .csv's ##
from BIGASSCSVParser import BIGASSCSVParser               
import collections                                                              


x = open('newtrajectory.csv')  #file to be reordered                                                  
linetlist = []                                                                  
tidict = {}               

'' To save braincells I stored all the required values
   of each line into a dictionary of tuples.
   Index: Tuple ''

for line in x:                                                                  
    y = line.replace(',',' ')                                                   
    y = y.split()                                                               
    tup = (y[0],y[1],y[2],y[3],y[4])                                            
    linetlist.append(tup)                                                       
for k,v in enumerate(linetlist):                                                
    tidict[k] = v                                                               
x.close()                                                                       


trj = BIGASSCSVParser('newtrajectory.csv')                                      
uniquelFIDs = []                                                                
z = trj.column(0)   # List of out of order Flight ID's                                                     
for i in z:         # like in the example above                                                           
    if i in uniquelFIDs:                                                        
        continue                                                                
    else:                                                                       
        uniquelFIDs.append(i)  # Create list of unique FID's to refer to later                                               

queue = []                                                                              
p = collections.OrderedDict()                                                   
for k,v in enumerate(trj.column(0)):                                            
    p[k] = v  

到目前为止一切都很好，但是在下一部分中，我的计算机要么卡住了，要么我的代码很糟糕:

for k in uniquelFIDs:                                                           
    list = [i for i, x in p.items() if x == k]                                  
    queue.extend(list)                                                          

想法是，对于每个唯一值，按顺序迭代 130 万个值并按顺序返回每个出现的索引，并将这些值附加到列表中。在那之后，我只是要读取那个大的索引列表并将该行数据的内容写入另一个 .csv 文件。哒哒!可能效率极低。

这是怎么回事？有没有更有效的方法来解决这个问题？是我的代码有缺陷，还是我对我的笔记本电脑太残忍了？

更新:

我发现，根据我处理的数据量，需要 9-10 个小时。我在 4.5 中正确地吐出了一半。我暂时可以避免通宵加类，但下次可能会考虑使用数据库或其他语言。如果我提前知道我要进入的是什么，我会的，哈哈。

调整我的 SSD 的 sleep 设置后，它只需要 3 个小时就可以完成。

Answer 1

您可以尝试 UNIX sort 实用程序:

sort -n -s -t, -k1,1 infile.csv > outfile.csv

-t 设置分隔符，-k 设置排序键。 -s 稳定排序，-n 使用数字比较。