python - 如何快速将 ID 重新映射到连续数字

Question

我有一个很大的 csv 文件，其中的行看起来像

stringa,stringb
stringb,stringc
stringd,stringa

我需要对其进行转换，以便 ID 从 0 开始连续编号。在这种情况下，以下内容将起作用

0,1
1,2
3,0

我当前的代码如下:

import csv
names = {}
counter = 0
with open('foo.csv', 'rb') as csvfile:
     reader = csv.reader(csvfile)
     for row in reader:
         if row[0] in names:
             id1 =  row[0]
         else:
             names[row[0]] = counter
             id1 = counter
             counter += 1
         if row[1] in names:
             id2 = row[1]
         else:
             names[row[1]] = counter
             id2 = counter
             counter += 1
     print id1, id2

Python 字典很遗憾地使用了大量内存，而且我的输入很大。

What can I do when the input is too large for the dict to fit in memory

如果有更好/更快的方法来解决这个问题，我也会很感兴趣。

Answer 1

df = pd.DataFrame([['a', 'b'], ['b', 'c'], ['d', 'a']])

v = df.stack().unique()
v.sort()
f = pd.factorize(v)
m = pd.Series(f[0], f[1])

df.stack().map(m).unstack()