python - 用多索引迭代连接 Pandas 数据框

Question

我正在迭代处理几个“组”，我想将它们一起添加到一个数据框中，每个组都由二级索引标识。

这个:

print pd.concat([df1, df2, df3], keys=["A", "B", "C"])

有人向我建议 - 但它在迭代中效果不佳。

我现在正在做

data_all = pd.DataFrame([])
    for a in a_list:
        group = some.function(a, etc)
        group = group.set_index(['CoI'], append=True, drop=True)
        group = group.reorder_levels(['CoI','oldindex'])
        data_all = pd.concat([data_all, group], ignore_index=False)

但最后一行完全破坏了我的多索引，我无法重建它。

你能帮我一下吗？

Answer 1

应该能够将 data_all 做成一个列表并在末尾连接一次:

data_all = []
for a in a_list:
    group = some.function(a, etc)
    group = group.set_index(['CoI'], append=True, drop=True)
    group = group.reorder_levels(['CoI','oldindex'])
    data_all.append(group)

data_all = pd.concat(data_all, ignore_index=False)

另请记住，pandas 的 concat 与迭代器一起使用。像 yield group 这样的东西可能比每次都附加到列表更有效。不过我还没有分析它!