python - 更有效的 pandas python 命令删除 Nan 行？

Question

我有一个名为 TI 的 DF。我想删除 BookDate 为 NaN 的行。所以我跑:

TI = TI.dropna(subset=['#Book_Date'])

当我运行它时，由于某种原因内存被耗尽(我在一台 100GB RAM 的机器上，大约 50% 的 RAM 用于保存 TI，当我运行那条 dropna 行时，它转到100% 使用率并且从未完成命令的执行)。它正在制作一个全新的副本吗？ TI是一个6400万行的dataframe，所以需要更高效。

Answer 1

到目前为止，最好的方法是通过使用列必须是有限的来做到这一点。为此你需要 numpy。

from pandas import *
import numpy

TI = TI[np.isfinite(TI['#Book_Date'])]