python - Pandas df.isnull().all() 跨多个文件进行计数

Question

我的数据集中有 2000 个 csv 文件，每个文件有 88 列:

      filenames = glob.glob('path\*.csv') 
       for f in filenames:            
          df = pd.read_csv(f, error_bad_lines = False)
          df = df.isnull().all()

这将返回带有列标题的系列，如果整个列丢失，则返回 True。如何计算整个数据集(2000 个 csv 文件)中 True 的数量(完全缺失的列)，以便我可以将每个文件缺失的数据量表示为百分比？

如果每个文件缺少一整列，我想添加 1 并保留该列的运行总计

Answer 1

按照您的措辞方式，您将获得每个数据集丢失的列数。

但是，您可以获得每列缺失的行数，您可以修改该代码并调用:

df.isnull().sum()

这将产生每列缺失行的计数。类似于:


第 1 列 0
列2 0
第 3 栏 171
第 4 栏 798
第 5 列 0
数据类型:int64

只需再次调用 .sum() 即可得出缺失观测值的总和。

数据框中的单元格总数将等于列乘以行，您可以通过调用以下命令来计算:

df.shape[0]*df.shape[1]

这意味着您可以通过调用以下命令来计算缺失百分比:

total = df.shape[0]*df.shape[1]
missing = df.isnull().sum().sum()
percent = missing/float(total)

只需将这些值附加到列表中，以便您可以保存它们以供以后引用。尝试这样的事情:

 misscount = [] 
 for f in filenames:            
      df = pd.read_csv(f, error_bad_lines = False)
      total = df.shape[0]*df.shape[1]
      missing = df.isnull().sum().sum()
      percent = missing/float(total)
      misscount.append(percent)

编辑:

基于评论中的反馈:

“......我实际上确实想要整个数据集(2000个csv文件)缺少的列数......所以如果整个列丢失，我想将其添加到“缺失变量” “像你的一样，然后除以整个数据集的长度(2000)。”

因此，为了计算给定 csv 文件的总列数，您可以这样调用:

total =len(df.columns)

为了计算每个 csv 文件缺失列的总数，您可以调用以下命令:

missing = df.isnull().all().sum()

因此每个 csv 文件缺失列的百分比可以这样计算: 百分比 = 缺失/ float (总计)

但听起来您想要一个运行统计。那么让我们使用这个循环:

colcount = 0
misscount = 0

for f in filenames:            
      df = pd.read_csv(f, error_bad_lines = False)
      colcount +=len(df.columns)
      misscount += df.isnull().all().sum()

percent = misscount/float(colcount)