python - 大数据多列计算的内存错误

Question

我想计算现有列并创建一个新列。

df = dd.from_pandas(ddf, npartitions=100)

df['new_column'] = df[['column']].apply(lambda dpan_india_df: dpan_india_df['column']*8000, axis = 1, meta=('object'))

如何有效利用内存？供您引用，此文件是 800M 文件。

  File "Sectorize3.py", line 55, in <lambda>
    df['new_column'] = df[['column']].apply(lambda ddf: ddf['column']*8000, axis = 1, meta=('object'))
MemoryError: occurred at index 1512070

Answer 1

你可以这样做。

df['new_column']=df['column']*8000