python - Pandas 是从不同数据帧中添加值计数的更好方法

Question

pd.read_table('file.csv', chunksize=50000 ) 正在读取一个巨大的 CSV 文件。 。目前，在每次循环迭代中，我都会阅读 value_counts使用 df.col.value_counts() 与当前 block 相关方法。我通过 numpy 的循环和技巧让它工作，但我想知道是否有更干净的方法使用 pandas 来做到这一点？

代码:

prev = None

# LOOP CHUNK DATA
for imdb_basics in pd.read_table(
    'data/imdb.title.basics.tsv',
    dtype={'tconst':str,'originalTitle':str,'startYear':str }, 
    usecols=['tconst','originalTitle','startYear'],
    chunksize=50000,
    sep='\t'
):
    # REMOVE NULL DATA & CONVERT TO NUMBER
    imdb_basics.startYear = imdb_basics.startYear.replace( "\\N", 0 )
    imdb_basics.startYear = pd.to_numeric( imdb_basics.startYear )

    # --- loops and tricks --- !

    tmp = imdb_basics.startYear.value_counts( sort=False )

    current = { 
        'year': list( tmp.keys() ),
        'count': list( tmp.values )
    }
    if prev is None : 
        prev = current
    else:
        for i in range( len( prev['year'] ) ):
            for j in range( len( current['year'] ) ):
                if prev['year'][i] == current['year'][j]:
                    prev['count'][i] += current['count'][j]
        for i in range( len( current['year'] ) ):
            if not ( current['year'][i] in prev['year'] ):
                prev['year'].append( current['year'][i] )
                prev['count'].append( current['count'][i] )

编辑:我正在处理一个大数据文件，而且我当前使用的远程计算机的内存量非常有限，因此无法删除 pandas 中的分块。

Answer 1

正如我在评论中所说，您无需担心 key 管理。 Pandas 可以为你做这一切。考虑这个简单的示例，其中包含一些带有年份列和其他列的模拟数据:

from io import StringIO
import numpy
import pandas
numpy.random.seed(0)

# years to chose from
years = numpy.arange(2000, 2017)

# relative probabilities of a year being selected (2000 should be absent)
weights = numpy.linspace(0.0, 0.7, num=len(years))
weights /= weights.sum()

# fake dataframe turned into a fake CSV
x = numpy.random.choice(years, size=200, p=weights)
text = pandas.DataFrame({
    'year': x,
    'value': True
}).to_csv()

由于这是一个小文件，我们可以一次读取所有内容以获得“正确”答案

pandas.read_csv(StringIO(text))['year'].value_counts().sort_index()
2001     1
2002     6
2003     2
2004     6
2005     6
2006    11
2007     9
2008    12
2009    13
2010     9
2011    18
2012    16
2013    29
2014    20
2015    21
2016    21
Name: year, dtype: int64

好的，现在让我们尝试使用 pandas 方法进行分块:

result = None
for chunk in pandas.read_csv(StringIO(text), chunksize=25):
    tmp = chunk['year'].value_counts()
    if result is None:  # first chunk
        result = tmp.copy()
    else:  # all other chunks
        result = result.add(tmp, fill_value=0).astype(int)

final = result.sort_index()
final
2001     1
2002     6
2003     2
2004     6
2005     6
2006    11
2007     9
2008    12
2009    13
2010     9
2011    18
2012    16
2013    29
2014    20
2015    21
2016    21
Name: year, dtype: int64

所以它有效。 Pandas 将在基本操作期间对齐并填充索引。