python - 如何尽快将所有数据分组？

Question

我有 4188006 行数据。我想按其列 Code 值对数据进行分组。并设置Code值为key，对应的数据为value int0 a dict`。

_a_stock_basic_data 是我的数据:

    Code  date_time        open        high         low       close  \
0      000001.SZ 2007-03-01   19.000000   19.000000   18.100000   18.100000   
1      000002.SZ 2007-03-01   14.770000   14.800000   13.860000   14.010000   
2      000004.SZ 2007-03-01    6.000000    6.040000    5.810000    6.040000   
3      000005.SZ 2007-03-01    4.200000    4.280000    4.000000    4.040000   
4      000006.SZ 2007-03-01   13.050000   13.470000   12.910000   13.110000      
...          ...        ...         ...         ...         ...         ...   
88002  603989.SH 2015-06-30   44.950001   50.250000   41.520000   49.160000   
88003  603993.SH 2015-06-30   10.930000   12.500000   10.540000   12.360000   
88004  603997.SH 2015-06-30   21.400000   24.959999   20.549999   24.790001   
88005  603998.SH 2015-06-30   65.110001   65.110001   65.110001   65.110001   

             amt    volume  
0      418404992  22927500  
1      659624000  46246800  
2       23085800   3853070  
3      131162000  31942000  
4      251946000  19093500  
.... ....
88002  314528000   6933840  
88003  532364992  46215300  
88004  169784992   7503370  
88005          0         0  

[4188006 rows x 8 columns]

我的代码是:

_a_stock_basic_data = pandas.concat(dfs)
_all_universe = set(all_universe.values.tolist())
for _code in _all_universe:
    _temp_data = _a_stock_basic_data[_a_stock_basic_data['Code']==_code]
    data[_code] = _temp_data[_temp_data.notnull()]

_all_universe 包含 _a_stock_basic_data['Code']。 _all_universe的长度约为2816，而for循环的数量为2816，需要花费大量时间才能完成该过程。

所以，我只是想知道如何使用高性能方法对这些数据进行分组。我认为多处理是一种选择，但我认为共享内存是它的问题。而且我认为随着数据越来越大，代码的性能需要考虑，否则，成本会很高。感谢您的帮助。

Answer 1

我将展示一个我认为可以解决您的问题的示例。下面我创建了一个包含随机元素的数据框，其中 Code 列将具有重复值

a = pd.DataFrame({'a':np.arange(20), 'b':np.random.random(20), 'Code':np.random.random_integers(0, 10, 20)})

要按列Code分组，请将其设置为索引:

a.index = a['Code']

您现在可以使用索引通过Code的值来访问数据:

In : a.ix[8]
Out: 
    a         b  Code
Code                 
8   1  0.589938  8
8   3  0.030435  8
8  13  0.228775  8
8  14  0.329637  8
8  17  0.915402  8