python - 在多索引数据帧中使用 "forward-fill"有效地重新索引一个级别-6ren

python - 在多索引数据帧中使用 "forward-fill"有效地重新索引一个级别

转载作者：太空狗更新时间：2023-10-30 00:02:34

考虑以下 DataFrame:

                          value
item_uid   created_at          

0S0099v8iI 2015-03-25  10652.79
0F01ddgkRa 2015-03-25   1414.71
0F02BZeTr6 2015-03-20  51505.22
           2015-03-23  51837.97
           2015-03-24  51578.63
           2015-03-25       NaN
           2015-03-26       NaN
           2015-03-27  50893.42
0F02BcIzNo 2015-03-17   1230.00
           2015-03-23   1130.00
0F02F4gAMs 2015-03-25   1855.96
0F02Vwd6Ou 2015-03-19   5709.33
0F04OlAs0R 2015-03-18    321.44
0F05GInfPa 2015-03-16    664.68
0F05PQARFJ 2015-03-18   1074.31
           2015-03-26   1098.31
0F06LFhBCK 2015-03-18    211.49
0F06ryso80 2015-03-16     13.73
           2015-03-20     12.00
0F07gg7Oth 2015-03-19   2325.70

我需要在两个日期 start_date 和 end_date 之间的每个日期对它们之间的完整数据帧进行采样，传播最后看到的值。采样应在每个 item_uid 中独立/分开进行。

例如，如果我们要在 2015-03-20 和 2015-03-29 之间对 0F02BZeTr6 进行采样，我们应该得到:

0F02BZeTr6 2015-03-20  51505.22
           2015-03-21  51505.22
           2015-03-22  51505.22
           2015-03-23  51837.97
           2015-03-24  51578.63
           2015-03-25  51578.63
           2015-03-26  51578.63
           2015-03-27  50893.42
           2015-03-28  50893.42
           2015-03-29  50893.42

请注意，我正在向前填充数据框中的 NaN 和 缺失条目。

This other question解决了类似的问题，但仅限于一组(即一个级别)。这个问题反而询问如何在每个组 (item_uid) 中分别做同样的事情。虽然我可以拆分输入数据帧并遍历每个组(每个 item_uid)，然后将结果拼接在一起，但我想知道是否有更有效的方法。

当我执行以下操作时(请参阅 this PR):

dates         = pd.date_range(start=start_date, end=end_date)    
df.groupby(level='itemuid').apply(lambda x: x.reindex(dates, method='ffill'))

我得到:

TypeError: Fill method not supported if level passed

最佳答案

您有几个选择，最简单的 IMO 是简单地拆开第一层然后填充。我认为这比 groupby/resample 解决方案更清楚发生了什么(我怀疑它也会更快，具体取决于数据):

In [11]: df1['value'].unstack(0)
Out[11]:
item_uid    0F01ddgkRa  0F02BZeTr6  0F02BcIzNo  0F02F4gAMs  0F02Vwd6Ou  0F04OlAs0R  0F05GInfPa  0F05PQARFJ  0F06LFhBCK  0F06ryso80  0F07gg7Oth  0S0099v8iI
created_at
2015-03-16         NaN         NaN         NaN         NaN         NaN         NaN      664.68         NaN         NaN       13.73         NaN         NaN
2015-03-17         NaN         NaN        1230         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN
2015-03-18         NaN         NaN         NaN         NaN         NaN      321.44         NaN     1074.31      211.49         NaN         NaN         NaN
2015-03-19         NaN         NaN         NaN         NaN     5709.33         NaN         NaN         NaN         NaN         NaN      2325.7         NaN
2015-03-20         NaN    51505.22         NaN         NaN         NaN         NaN         NaN         NaN         NaN       12.00         NaN         NaN
2015-03-23         NaN    51837.97        1130         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN
2015-03-24         NaN    51578.63         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN
2015-03-25     1414.71         NaN         NaN     1855.96         NaN         NaN         NaN         NaN         NaN         NaN         NaN    10652.79
2015-03-26         NaN         NaN         NaN         NaN         NaN         NaN         NaN     1098.31         NaN         NaN         NaN         NaN
2015-03-27         NaN    50893.42         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN

如果您遗漏了一些日期，您必须重新编制索引(假设开始和结束存在，否则您可以手动执行此操作，例如使用 pd.date_range):

In [12]: df1['value'].unstack(0).asfreq('D')
Out[12]:
item_uid    0F01ddgkRa  0F02BZeTr6  0F02BcIzNo  0F02F4gAMs  0F02Vwd6Ou  0F04OlAs0R  0F05GInfPa  0F05PQARFJ  0F06LFhBCK  0F06ryso80  0F07gg7Oth  0S0099v8iI
2015-03-16         NaN         NaN         NaN         NaN         NaN         NaN      664.68         NaN         NaN       13.73         NaN         NaN
2015-03-17         NaN         NaN        1230         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN
2015-03-18         NaN         NaN         NaN         NaN         NaN      321.44         NaN     1074.31      211.49         NaN         NaN         NaN
2015-03-19         NaN         NaN         NaN         NaN     5709.33         NaN         NaN         NaN         NaN         NaN      2325.7         NaN
2015-03-20         NaN    51505.22         NaN         NaN         NaN         NaN         NaN         NaN         NaN       12.00         NaN         NaN
2015-03-21         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN
2015-03-22         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN
2015-03-23         NaN    51837.97        1130         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN
2015-03-24         NaN    51578.63         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN
2015-03-25     1414.71         NaN         NaN     1855.96         NaN         NaN         NaN         NaN         NaN         NaN         NaN    10652.79
2015-03-26         NaN         NaN         NaN         NaN         NaN         NaN         NaN     1098.31         NaN         NaN         NaN         NaN
2015-03-27         NaN    50893.42         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN         NaN

注意:asfreq 会删除索引的名称(这很可能是错误!)

现在你可以填充:

In [13]: df1['value'].unstack(0).asfreq('D').ffill()
Out[13]:
item_uid    0F01ddgkRa  0F02BZeTr6  0F02BcIzNo  0F02F4gAMs  0F02Vwd6Ou  0F04OlAs0R  0F05GInfPa  0F05PQARFJ  0F06LFhBCK  0F06ryso80  0F07gg7Oth  0S0099v8iI
2015-03-16         NaN         NaN         NaN         NaN         NaN         NaN      664.68         NaN         NaN       13.73         NaN         NaN
2015-03-17         NaN         NaN        1230         NaN         NaN         NaN      664.68         NaN         NaN       13.73         NaN         NaN
2015-03-18         NaN         NaN        1230         NaN         NaN      321.44      664.68     1074.31      211.49       13.73         NaN         NaN
2015-03-19         NaN         NaN        1230         NaN     5709.33      321.44      664.68     1074.31      211.49       13.73      2325.7         NaN
2015-03-20         NaN    51505.22        1230         NaN     5709.33      321.44      664.68     1074.31      211.49       12.00      2325.7         NaN
2015-03-21         NaN    51505.22        1230         NaN     5709.33      321.44      664.68     1074.31      211.49       12.00      2325.7         NaN
2015-03-22         NaN    51505.22        1230         NaN     5709.33      321.44      664.68     1074.31      211.49       12.00      2325.7         NaN
2015-03-23         NaN    51837.97        1130         NaN     5709.33      321.44      664.68     1074.31      211.49       12.00      2325.7         NaN
2015-03-24         NaN    51578.63        1130         NaN     5709.33      321.44      664.68     1074.31      211.49       12.00      2325.7         NaN
2015-03-25     1414.71    51578.63        1130     1855.96     5709.33      321.44      664.68     1074.31      211.49       12.00      2325.7    10652.79
2015-03-26     1414.71    51578.63        1130     1855.96     5709.33      321.44      664.68     1098.31      211.49       12.00      2325.7    10652.79
2015-03-27     1414.71    50893.42        1130     1855.96     5709.33      321.44      664.68     1098.31      211.49       12.00      2325.7    10652.79

然后把它叠回去(注意:如果你想包含起始的 NaN，你可以 dropna=False):

In [14]: s = df1['value'].unstack(0).asfreq('D').ffill().stack()

注意:如果索引的顺序很重要，您可以切换/排序:

In [15]: s.index = s.index.swaplevel(0, 1)

In [16]: s = s.sort_index()

In [17]: s.index.names = ['item_uid', 'created_at']  # as this is lost earlier

In [18]: s
Out[18]:
item_uid
0F01ddgkRa  2015-03-25     1414.71
            2015-03-26     1414.71
            2015-03-27     1414.71
0F02BZeTr6  2015-03-20    51505.22
            2015-03-21    51505.22
            2015-03-22    51505.22
            2015-03-23    51837.97
            2015-03-24    51578.63
            2015-03-25    51578.63
            2015-03-26    51578.63
            2015-03-27    50893.42
...
0S0099v8iI  2015-03-25    10652.79
            2015-03-26    10652.79
            2015-03-27    10652.79
Length: 100, dtype: float64

这是否比 groupby/resample apply 解决方案更有效将取决于数据。对于非常稀疏的数据(有很多启动 NaN，假设你想放弃这些)我怀疑它不会那么快。如果数据密集(或者您想保留初始的 NaN)，我怀疑这个解决方案应该更快。

关于python - 在多索引数据帧中使用 "forward-fill"有效地重新索引一个级别，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29356412/

文章推荐： c# - "ulong == ulong?"评估为 "ulong == ulong"工作正常

文章推荐： python - Python 3 中的 PyClass_New 等价物是什么？

文章推荐： python - 在类方法中模拟函数

文章推荐： python - fatal error : Incompatible ssh peer (no acceptable kex algorithm)

scala - (重新)在scala中定义()
这个问题在这里已经有了答案: How does Scala's apply() method magic work? (3 个回答) 9年前关闭。假设我在 scala 中有一个 MyList 类，其
python 重新？ : example
这个问题在这里已经有了答案: What is a non-capturing group in regular expressions? (18 个回答) Reference - What does
c++ - (重新)在cpp中没有复制构造函数的情况下初始化对象
这个问题是针对嵌入式系统的! 我有以下选项来初始化一个对象: Object* o = new Object(arg); 这会将对象放入堆中并返回指向它的指针。我不喜欢在嵌入式软件中使用动态分配。 Ob
Python - 重新 - 需要正则表达式的帮助
我自己搜索过，没能成功的正则表达式。我有一个 html 文件，其中包含 [] 之间的变量我想把每一个字都写进去。 [client_name][client_company] [cl
python 重新: no such group
我是 Python 新手。我不明白为什么这段代码不起作用: reOptions = re.search( "[\s+@twitter\s+(?P\w+):(?P.*?)\s+]", d
c - (重新)熟悉一门语言的有效方法是什么？
在过去 7 个月左右的时间里，我几乎一直在使用 .NET C# 进行编程。在那之前，我的大部分编程都是用 C++(从学校里学的)。在工作中，我可能需要在接下来的几个月里做一大堆 C 语言。我对 C 的
python 重新。排除一些结果
我是 RE 的新手，我正在尝试获取歌词并分离出歌词标题、和声和主唱: 下面是一些歌词的例子: [Intro] D.A. got that dope! [Chorus: Travis Scott] Ic
c# - (重新)使用约束类型的泛型参数而不声明它们
这可能是不可能的，但我想检查是否可以用一种简单的方式表达这样的事情: // obviously doesn't work class Foo : IFoo where T: Bar {
MySQL表(重新)设计
我们的应用程序中有“user”和“study”实体，存储在它们各自的表中。一项研究代表一种研究和已收集的数据。它们是多对多的关系，所以我们需要一个链接表:studies_users。我们为用户分配角
database - (重新)命名数据库单元测试中的测试条件
将测试条件添加到 Visual Studio 2010 数据库单元测试(对于 SQL Server 2008)时，这些条件称为例如rowCountCondition1、rowCountConditio
android - (重新)在android模拟器上安装SD卡
在模拟器上，我可以从设置中卸载 SD 卡。然后我可以将它安装到我的操作系统上，然后正常卸载它。我一直无法弄清楚如何在模拟器上重新安装它(无需重新启动)。提示: adb 命令 remount 是无
svn - 如何从颠覆提交中(重新)生成补丁？
假设在一个分支上执行了一系列提交，但该分支尚未与主干重新同步。是否可以从提交中生成全局补丁？是否可以从一系列提交中生成“分组”补丁？如果是，如何？最佳答案 svn diff -rXXX:YYY UR
c# - WPF中的临时锁定窗口(重新)大小
在某些情况下，我想在我的应用程序中锁定调整大小功能，为此我尝试对属性进行数据绑定(bind)，并且不允许在某些情况下更改它，但没有成功。有没有办法这样做？这是我不成功的尝试: XAML: Vie
matlab - 断开显示器连接时(重新)检测连接的显示器数量
当我的计算机连接多个显示器时，我可以检测它们，并根据从获取的值设置位置来向它们绘制图形 get(0, 'MonitorPositions') 但是，当我在 MATLAB 运行时断开监视器时，此属性不会
database - grails如何(重新)连接到第二个数据库
我们有一个grails应用程序，该应用程序在grails数据库中存储了各种域对象。该应用程序连接到第二个数据库，运行一些原始sql，并在表中显示结果。它基本上是一个报告服务器。我们通过在DataSo
c++ - 可以(重新)分配来自不同容器的迭代器吗？
无法比较来自不同容器的迭代器(参见这里的示例: https://stackoverflow.com/a/4664519/225186 )(或者从技术上讲，它不需要有意义。) 这就提出了另一个问题，来自
java - onActivityResult(重新)调用
我有以下情况: 家长 Activity : ParentActivityClass { private Intent intent; @Override public void onCreate(Bu
javascript - Jquery - (重新)连接动态生成的元素
我经常将元素与附加功能 Hook ，例如: $('.myfav').autocomplete(); $('.myfav').datepicker(); $('.myfav').click(somefu
javascript - 如何根据屏幕尺寸(重新)使用不同的选项初始化工具提示？
因此，我将 tooltipster.js 库用于工具提示，并尝试更改工具提示在不同屏幕尺寸上的默认距离。所以这是默认的 init 的样子: $(inputTooltipTrigger).tool
c++ - (重新)实现 dynamic_cast
我在 ARM7 嵌入式环境中工作。我使用的编译器不支持完整的 C++ 功能。它不支持的一项功能是动态类型转换。有没有办法实现dynamic_cast<>() ？我使用 Google 寻找代码，但到

太空狗

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

python - 在多索引数据帧中使用 "forward-fill"有效地重新索引一个级别