python - Pandas 将时间序列数据重新采样为 15 分钟和 45 分钟

python - Pandas 将时间序列数据重新采样为 15 分钟和 45 分钟 - 使用多索引或列

转载作者：太空狗更新时间：2023-10-30 00:04:43

我有一些时间序列数据作为 Pandas 数据框，它从每小时过去 15 分钟和过去 45 分钟(时间间隔为 30 分钟)的观察开始，然后将频率更改为每分钟。我想对数据重新采样，以使其在整个数据帧的过去 15 小时和过去 45 小时的固定频率为每 30 分钟一次。

我想到了两种实现方式。
1. 简单地过滤 dataframe 以获取 15min 和 45min 的所有观察值，使用时间序列数据作为 dataframe 中的一列。
2.重新设置索引，使时间序列数据成为多索引的一部分(索引的第0级是气象站，第1级是观测时间)并使用Pandas date-time timeseries resample() 等功能。

原始数据框，天气，看起来像这样:

                  parsed_time           Pressure  Temp    Hum
Station   (index)   
Bow       1        2018-04-15 14:15:00   1012     20.0    87
          2        2018-04-15 14:45:00   1013     20.0    87
          3        2018-04-15 15:15:00   1012     21.0    87
          4        2018-04-15 15:45:00   1014     22.0    86
          5        2018-04-15 16:00:00   1015     22.0    86
          6        2018-04-15 16:01:00   1012     25.0    86
          7        2018-04-15 16:02:00   1012     25.0    86
Stratford 8        2018-04-15 14:15:00   1011     18.0    87
          9        2018-04-15 14:45:00   1011     18.0    87
          10       2018-04-15 15:15:00   1012     18.0    87
          11       2018-04-15 15:45:00   1014     19.0    86
          12       2018-04-15 16:00:00   1014     19.0    86
          13       2018-04-15 16:01:00   1015     19.0    86
          14       2018-04-15 16:02:00   1016     20.0    86
          15       2018-04-15 16:04:00   1016     20.0    86

使用方法 1 时，我遇到了一个问题，即我的 bool 选择操作似乎没有按预期工作。例如

weather_test = weather[weather['parsed_time'].dt.minute == (15 & 45)]

像这样给出 parsed_time 值:

2018-04-15 14:13:00
2018-04-15 15:13:00

weather_test = weather[weather['parsed_time'].dt.minute == (15 | 45)]

结果是这样的 parsed_time 值:

2018-04-15 14:47:00
2018-04-15 14:47:00

我在文档中找不到任何内容来解释这种行为。我想要的是以下时间站的压力、温度、湿度:

2018-04-15 14:45:00    
2018-04-15 15:15:00  
2018-04-15 15:45:00
2018-04-15 16:15:00

等等。

对于方法 2，我想到了对数据进行重新采样，以便将我拥有每分钟数据的观察值替换为前 30 分钟的平均值。此功能似乎仅在 parsed_time 列是索引的一部分时才起作用，因此我使用以下代码将 parsed_time 设置为多索引的一部分:

weather.set_index('parsed_time', append=True, inplace=True)
weather.index.set_names('station', level=0, inplace=True)
weather = weather.reset_index(level=1, drop=True)

最终得到一个如下所示的数据框:

                                  Pressure   Temp    Hum
Station    parsed_time
Bow            2018-04-15 14:15:00    1012       20.0    87
           2018-04-15 14:45:00    1013       20.0    87
           2018-04-15 15:15:00    1012       21.0    87
           2018-04-15 15:45:00    1014       22.0    86
           2018-04-15 16:00:00    1015       22.0    86
           2018-04-15 16:01:00    1012       25.0    86
           2018-04-15 16:02:00    1012       25.0    86
Stratford  2018-04-15 14:15:00    1011       18.0    87
           2018-04-15 14:45:00    1011       18.0    87
           2018-04-15 15:15:00    1012       18.0    87
           2018-04-15 15:45:00    1014       19.0    86
           2018-04-15 16:00:00    1014       19.0    86
           2018-04-15 16:01:00    1015       19.0    86
           2018-04-15 16:02:00    1016       20.0    86
           2018-04-15 16:04:00    1016       20.0    86

请注意，观察的抽样从每 30 分钟的过去 :15 和过去的 :45 到每分钟(例如:01、:02、:14 等)不等，而且它也因站点而异——并非所有站点都有每一次观察。

我试过这个:

weather_test = weather.resample('30min', level=1).mean()

但这会在没有偏移的情况下重新采样，并且还会摆脱多索引中的站点级别。

想要的结果是这样的:

                              Pressure   Temp    Hum
Station    parsed_time
Bow            2018-04-15 14:15:00    1012       20.0    87
           2018-04-15 14:45:00    1013       20.0    87
           2018-04-15 15:15:00    1012       21.0    87
           2018-04-15 15:45:00    1014       22.0    86
           2018-04-15 16:15:00    1013       24.0    86
Stratford  2018-04-15 14:15:00    1011       18.0    87
           2018-04-15 14:45:00    1011       18.0    87
           2018-04-15 15:15:00    1012       18.0    87
           2018-04-15 15:45:00    1014       19.0    86
           2018-04-15 16:15:00    1015       19.5    86

其中每分钟的观察值已重新采样为 30 分钟间隔的平均值，时间为每小时 15 分和 45 分。

将站点保持在多索引中的一个级别是必不可少的。我不能单独使用时间索引作为索引，因为每个站点的值都重复(并且不是唯一的)。

感谢所有帮助，因为我一直在绕着这个圈子转了一段时间。谢谢!

我看了很多以前的帖子，包括: Boolean filter using a timestamp value on a dataframe in Python
How do I round datetime column to nearest quarter hour
和:Resampling a pandas dataframe with multi-index containing timeseries对于应该很简单的东西来说，这似乎有点复杂......

和文档:http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.resample.html谢谢!

最佳答案

从倒数第二个数据帧开始(在使用 weather.reset_index(Station, inplace=True) 之后):

                           Station  Pressure  Temp   Hum
parsed_time                                         
2018-04-15 14:15:00        Bow    1012.0  20.0  87.0
2018-04-15 14:45:00        Bow    1013.0  20.0  87.0
2018-04-15 15:15:00        Bow    1012.0  21.0  87.0
2018-04-15 15:45:00        Bow    1014.0  22.0  86.0
2018-04-15 16:00:00        Bow    1015.0  22.0  86.0
2018-04-15 16:01:00        Bow    1012.0  25.0  86.0
2018-04-15 16:02:00        Bow    1012.0  25.0  86.0
2018-04-15 14:15:00  Stratford    1011.0  18.0  87.0
2018-04-15 14:45:00  Stratford    1011.0  18.0  87.0
2018-04-15 15:15:00  Stratford    1012.0  18.0  87.0
2018-04-15 15:45:00  Stratford    1014.0  19.0  86.0
2018-04-15 16:00:00  Stratford    1014.0  19.0  86.0
2018-04-15 16:01:00  Stratford    1015.0  19.0  86.0
2018-04-15 16:02:00  Stratford    1016.0  20.0  86.0
2018-04-15 16:04:00  Stratford    1016.0  20.0  86.0

您可以结合使用 groupby 和 resample:

res = weather.groupby('Station').resample('30min').mean().reset_index('Station')

默认情况下，resample 选择 bin 间隔 [16:00, 16:30) 和 [16:30, 17:00)。正如您已经注意到的，时间索引在没有偏移的情况下重新采样，但您可以在之后使用 DateOffset 将其添加回去:

res.index = res.index + pd.DateOffset(minutes=15)

产生:

                           Station  Pressure  Temp   Hum
parsed_time                                         
2018-04-15 14:15:00        Bow   1012.00  20.0  87.0
2018-04-15 14:45:00        Bow   1013.00  20.0  87.0
2018-04-15 15:15:00        Bow   1012.00  21.0  87.0
2018-04-15 15:45:00        Bow   1014.00  22.0  86.0
2018-04-15 16:15:00        Bow   1013.00  24.0  86.0
2018-04-15 14:15:00  Stratford   1011.00  18.0  87.0
2018-04-15 14:45:00  Stratford   1011.00  18.0  87.0
2018-04-15 15:15:00  Stratford   1012.00  18.0  87.0
2018-04-15 15:45:00  Stratford   1014.00  19.0  86.0
2018-04-15 16:15:00  Stratford   1015.25  19.5  86.0

或者，您可以直接在重采样方法中指定偏移量:

weather.groupby('Station').resample('30min', loffset=pd.Timedelta('15min')).mean()

关于python - Pandas 将时间序列数据重新采样为 15 分钟和 45 分钟 - 使用多索引或列，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/51705583/

文章推荐： c# - Xamarin 的优点和缺点 Vis a Vis 其他框架

文章推荐： python - Keras plot_model 没有正确显示输入层

文章推荐： c# - 如何在 Xamarin 的 stackLayout 中全屏填充图像？

html - Z 索引 - 滑动过渡重叠有没有办法创建动态 z 索引？
这几天我一直在努力。我一直在自学 CSS，所以对菜鸟好一点。我正在创建一个推荐 slider 。推荐以 3 个 block 显示。我希望前 2 个下降，第 3 个上升。但是当 slider 激活时，无
node.js - 索引.ejs VS 索引.html
我最近开始学习 Nodejs，现在我很困惑我的网络应用程序使用什么，html 还是 ejs (Express)。 Ejs 使用 Express 模块，而 .html 使用 HTML 模块。我的第一个问
sql - 跨两列/数组的 PostgreSQL 搜索/索引(GIN 索引？)
假设我们有一个 PostgreSQL 表contacts，每条记录都有一堆带标签的电子邮件地址(标签和电子邮件对)——其中一个是“主要”。存储方式如下: id 主键电子邮件文本 email_la
Tesseract 索引 >= 0 && 索引 < size_used_ :Error:Assert failed Error
我成功为一种新的tesseract语言编写了traineddata文件，但是当我完成时，我继续收到以下错误: index >= 0 && index = 0 && 索引 < size_used_ :E
python - .loc[索引, 列] 和 .loc[索引][列] 之间有什么区别？
这个问题已经有答案了: How to deal with SettingWithCopyWarning in Pandas (21 个回答) 已关闭 4 年前。假设我有一个像这样的数据框，第一列“密
Android - 从位置 A(索引)检查位置 B(索引)是否在 GridView 布局中与它成对角线，而不管是否接近
如果我有一个位置或行/列同时用于 A 和 B 位置，请检查 B 是否与 A 成对角线？ 1 2 3 4 5 6 7 8 9 例如，我如何检查 5 是否与 7 成对角线？此外，如果我检查 4 是
MongoDB：索引
MongoDB：索引一、创建索引默认情况下，集合中的_id字段就是索引，我们可以通过getIndexes()方法来查看一个集合中的索引 > db.user.getIndexes() [ { "v
MongoDB——索引
一、索引介绍索引是一种用来快速查询数据的数据结构。 B+Tree就是一种常用的数据库索引数据结构，MongoDB采用B+Tree 做索引，索引创建在colletions上。 MongoDB不使用索引
SQLite 索引
我无法决定索引。就像我有下面的查询需要太多时间来执行: select count(rn.NODE_ID) as Count, rnl.[ISO_COUNTRY_CODE] as Cou
MySQL查询优化——索引
我有这些表: CREATE TABLE `cstat` ( `id_cstat` bigint(20) NOT NULL, `lang_code` varchar(3) NOT NULL,
mysql表性能升级(索引
我正在尝试找到一种方法来提高包含 IP 范围的 mysql 表的性能(在高峰时段每秒最多有 500 个 SELECT 查询(!)，所以我有点担心)。我有一个这种结构的表: id smallint(
jquery 索引()
jquery index() 似乎无法识别元素之一，总是说“无法读取未定义的属性‘长度’”这是我的代码。mnumber 是导致问题的原因。我需要 number 和 mnumber 才能跟踪使用鼠标，并
MongoDB 索引
我们有一个包含近 4000 万条记录的 MongoDB 集合。该集合的当前大小为 5GB。此集合中存储的数据包含以下字段: _id: "MongoDB id" userid: "user id" (i
MongoDB 索引
文档说:如果你有多个字段的复合索引，你可以用它来查询字段的开始子集。所以如果你有一个索引一个，乙，丙你可以用它查询一种一个，乙a,b,c 我的问题是，如果我有一个像这样的复合索引一个，乙，丙我可以查询
jQuery .each() 索引？
我正在使用 $('#list option').each(function(){ //do stuff }); 循环列表中的选项。我想知道如何获取当前循环的索引？因为我不想让 var i = 0;循
快速了解MySQL 索引
MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度。打个比方，如果合理的设计且使用索引的MySQL是一辆兰博基尼的话，那么没有设计和使用索引的MySQL
18、SQLite 索引
SQLite 索引（Index）索引（Index）是一种特殊的查找表，数据库搜索引擎用来加快数据检索。简单地说，索引是一个指向表中数据的指针。一个数据库中的索引与一本书后边的索引是非常相似的。
RavenDB MultiMap 索引
我是 RavenDB 的新手。我正在尝试使用多 map 索引功能，但我不确定这是否是解决我的问题的最佳方法。所以我有三个文件:Unit、Car、People。汽车文件看起来像这样: { Id: "
基于标准的 Excel 索引
我有以下数据，我想根据范围在另一个表中建立索引我想要实现的是，例如，如果三星的销售额为 2500，则折扣为 2%，低于 3000 且高于 1000 我知道它可以通过索引来完成，与多个数组匹配，然后指
SQL 索引 - 这是重叠的吗？
我正在检查并删除 SQL 数据库中的重复和冗余索引。所以如果我有两个相同的索引，我会删除。例如，如果我删除了重叠的索引... 索引1:品牌、型号指标二:品牌、型号、价格我删除索引 1。相同顺

太空狗

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

python - Pandas 将时间序列数据重新采样为 15 分钟和 45 分钟 - 使用多索引或列