python - 如何填充稀疏的 Pandas DataFrame，以便每个标识符组合每周都用填充值 0 表示？

Question

我的动物疾病数据很少。

df = pd.DataFrame(
    [['S', 'A', 'b1', 'p1', '2014-10-19', 1],
    ['S', 'A', 'b1', 'p1', '2014-10-26', 3],
    ['S', 'A', 'b1', 'p2', '2014-10-26', 4],
    ['S', 'A', 'b2', 'p3', '2014-10-19', 1],
    ['S', 'B', 'b1', 'p1', '2014-11-02', 5],
    ['S', 'B', 'b1', 'p2', '2014-10-19', 7],
    ['S', 'B', 'b1', 'p2', '2014-10-26', 1],
    ['S', 'B', 'b1', 'p2', '2014-11-02', 2],
    ['S', 'B', 'b2', 'p2', '2014-11-02', 1],
    ['S', 'B', 'b2', 'p3', '2014-10-26', 2],
    ['S', 'B', 'b2', 'p3', '2014-11-02', 3],
    ['M', 'A', 'b1', 'p1', '2014-10-19', 6],
    ['M', 'A', 'b1', 'p1', '2014-11-02', 2],
    ['M', 'A', 'b1', 'p2', '2014-10-19', 1],
    ['M', 'A', 'b1', 'p2', '2014-10-26', 1],
    ['M', 'B', 'b2', 'p2', '2014-10-19', 3],
    ['M', 'B', 'b2', 'p3', '2014-10-26', 4],
    ['M', 'B', 'b2', 'p3', '2014-11-02', 1]],
    columns = ["animal_type", "disease", "basin", 
    "plant", "week", "infected"])
df['week'] = pd.to_datetime(df['week'])

我想创建输出，使动物类型、疾病、流域和植物的每种组合都代表所有三周，以便连接到每周附加信息的另一个数据框。

期望的输出:

do = pd.DataFrame(
    [['S', 'A', 'b1', 'p1', '2014-10-19', 1],
    ['S', 'A', 'b1', 'p1', '2014-10-26', 3],
    ['S', 'A', 'b1', 'p1', '2014-11-02', 0],
    ['S', 'A', 'b1', 'p2', '2014-10-19', 0],
    ['S', 'A', 'b1', 'p2', '2014-10-26', 4],
    ['S', 'A', 'b1', 'p2', '2014-11-02']0,
    ...

这个为所有星期创造值(value)的过程将使用具有不同疾病、流域等的其他数据集来完成，因此我需要使这个过程具有普遍性。

我尝试将 df 索引设置为“week”并应用日期时间 date_range。

weeks = pd.date_range('2014-10-13', '2014-11-02', name='week', freq="W")
df.reindex(weeks)

当我尝试此操作时，我收到错误:ValueError:无法从重复轴重新索引

我尝试创建一个多索引

df.set_index(['animal_type', 'disease', 'basin', "plant", "week"], 
inplace=True)

但我不知道如何使用 date_range 重新索引 MultiIndex 中的周列。

如何填充数据集，以便动物类型、疾病、流域和植物的每个组合每周都以填充值 0 表示？

Answer 1

这是一个不同的外观。在较高的层次上，我执行的操作相当于交叉连接......

1. 将 df 分为“键”表和“周”表
2. 从每个中删除重复项
3. 在虚拟连接变量上使用 pd.merge 连接它们
4. 最终合并回“感染”领域

我的代码

import pandas as pd

### SET UP JOIN ###

#capture unique dates
weeks = df.week.unique()
#make dataframe from weeks
dfWeeks = pd.DataFrame(weeks, columns = ['week'])

#capture "key" columns from df and drop resulting duplicates
dfKeys = df[['animal_type', 'disease', 'basin', 'plant']].drop_duplicates()

#add dummy matching field for cross join
dfWeeks['key'] = 1
dfKeys['key'] = 1

### PERFORM CROSS JOIN ###

dfNew = pd.merge(dfKeys, dfWeeks, on = 'key', how = 'left')
#drop dummy matching field
dfNew.drop('key', axis = 1, inplace = True)

#left merge "infected" back on
dfNew = pd.merge(dfNew, df, on = ['animal_type', 'disease', 'basin', 'plant', 'week'], how = 'left')

#replace NaN w zero
dfNew.infected.fillna(0, inplace = True)