- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我每天有一条公交线路的数据集,有 32 辆公交车和两辆 route_direction(0,1)
,在第一个方向上有 18 个车站,每个车站都有一个从 1 到 18 的序列,而其他方向有15个站,seq(1-15),记录进/出每个站的时间。每条记录包含bus_id、route_direction、station_seq、in_time、out_time、station_id。 enter image description here
route_id route_direction bus_id station_seq schdeule_date in_time out_time
0 59 1 1349508393 2 2021-01-01 05:04:31 05:04:58
1 59 1 1349508393 2 2021-01-01 05:04:27 05:04:58
2 59 1 1349508393 2 2021-01-01 05:04:31 05:06:31
3 59 1 1349508393 2 2021-01-01 05:04:27 05:06:31
4 59 1 1349508393 1 2021-01-01 05:00:35 05:00:56
首先,我尝试对某些列进行分组,以便为每次旅行提供索引:
grouped = df.groupby(['bus_id', 'route_direction'])
我在这张图片中得到了类似的东西 enter image description here :
index route_id route_direction bus_id station_seq schdeule_date in_time out_time
654 59 0 1349508329 1 2021-01-01 NaN 06:34:10
663 59 0 1349508329 2 2021-01-01 06:33:34 06:34:04
664 59 0 1349508329 2 2021-01-01 06:33:33 06:34:04
677 59 0 1349508329 2 2021-01-01 06:33:34 06:35:34
678 59 0 1349508329 2 2021-01-01 06:33:33 06:35:34
... ... ... ... ... ... ... ...
12133 59 0 1349508329 12 2021-01-01 NaN NaN
如您所见,在几乎相同的日期和时间,相同的 bus_id 在同一车站的 enter exit 也有重复:我试过删除重复项但运气不好:
df = df.drop_duplicates(subset=['bus_id', 'route_direction', 'station_seq', 'station_id', 'in_time'], keep='first').reset_index(drop=True)
在 in_time 或 out_time 中也有一些 NaN 值,所以如果我 dropna 那么我可能会错过公交线路沿线站点之一的记录。
对一次旅行中的每条公共(public)汽车记录进行分组以赋予其 ID 有何帮助?在这种情况下如何删除重复的记录(输入时间略有不同)?任何帮助将不胜感激。
最佳答案
cumsum
,创建组标签# convert the in_time to dateTime first, then sorted the values
df['in_time_t'] = pd.to_datetime(df['schdeule_date'] + ' ' + df['in_time'])
df.sort_values(['bus_id', 'in_time_t'], inplace=True)
# calculate the time difference for every bus_id
df['t_diff'] = df.groupby('bus_id')['in_time_t'].diff()
# set group_tag
cond = df['t_diff'].dt.seconds < 60
df['tag'] = np.where(cond, 0, 1).cumsum()
# for every grouptag keep min(in_time) and max(out_time)
df_result = df.groupby(['route_id', 'route_direction', 'bus_id', 'station_seq', 'schdeule_date',
'tag']).agg({'in_time':'min', 'out_time':'max'}).reset_index()
df
route_id route_direction bus_id station_seq schdeule_date in_time out_time
0 59 1 1349508393 2 2021-01-01 05:04:31 05:04:58
1 59 1 1349508393 2 2021-01-01 05:04:27 05:04:58
2 59 1 1349508393 2 2021-01-01 05:04:31 05:06:31
3 59 1 1349508393 2 2021-01-01 05:04:27 05:06:31
4 59 1 1349508393 1 2021-01-01 05:00:35 05:00:56
654 59 0 1349508329 1 2021-01-01 NaN 06:34:10
663 59 0 1349508329 2 2021-01-01 06:33:34 06:34:04
664 59 0 1349508329 2 2021-01-01 06:33:33 06:34:04
677 59 0 1349508329 2 2021-01-01 06:33:34 06:35:34
678 59 0 1349508329 2 2021-01-01 06:33:33 06:35:34
12133 59 0 1349508329 12 2021-01-01 NaN NaN
df_result
route_id route_direction bus_id station_seq schdeule_date tag in_time out_time
0 59 0 1349508329 1 2021-01-01 2 NaN 06:34:10
1 59 0 1349508329 2 2021-01-01 1 06:33:33 06:35:34
2 59 0 1349508329 12 2021-01-01 3 NaN NaN
3 59 1 1349508393 1 2021-01-01 4 05:00:35 05:00:56
4 59 1 1349508393 2 2021-01-01 5 05:04:27 05:06:31
df with tag
| | route_id | route_direction | bus_id | station_seq | schdeule_date | in_time | out_time | in_time_t | t_diff | tag |
|------:|-----------:|------------------:|-----------:|--------------:|:----------------|:----------|:-----------|:--------------------|:----------------|------:|
| 664 | 59 | 0 | 1349508329 | 2 | 2021-01-01 | 06:33:33 | 06:34:04 | 2021-01-01 06:33:33 | NaT | 1 |
| 678 | 59 | 0 | 1349508329 | 2 | 2021-01-01 | 06:33:33 | 06:35:34 | 2021-01-01 06:33:33 | 0 days 00:00:00 | 1 |
| 663 | 59 | 0 | 1349508329 | 2 | 2021-01-01 | 06:33:34 | 06:34:04 | 2021-01-01 06:33:34 | 0 days 00:00:01 | 1 |
| 677 | 59 | 0 | 1349508329 | 2 | 2021-01-01 | 06:33:34 | 06:35:34 | 2021-01-01 06:33:34 | 0 days 00:00:00 | 1 |
| 654 | 59 | 0 | 1349508329 | 1 | 2021-01-01 | nan | 06:34:10 | NaT | NaT | 2 |
| 12133 | 59 | 0 | 1349508329 | 12 | 2021-01-01 | nan | nan | NaT | NaT | 3 |
| 4 | 59 | 1 | 1349508393 | 1 | 2021-01-01 | 05:00:35 | 05:00:56 | 2021-01-01 05:00:35 | NaT | 4 |
| 1 | 59 | 1 | 1349508393 | 2 | 2021-01-01 | 05:04:27 | 05:04:58 | 2021-01-01 05:04:27 | 0 days 00:03:52 | 5 |
| 3 | 59 | 1 | 1349508393 | 2 | 2021-01-01 | 05:04:27 | 05:06:31 | 2021-01-01 05:04:27 | 0 days 00:00:00 | 5 |
| 0 | 59 | 1 | 1349508393 | 2 | 2021-01-01 | 05:04:31 | 05:04:58 | 2021-01-01 05:04:31 | 0 days 00:00:04 | 5 |
| 2 | 59 | 1 | 1349508393 | 2 | 2021-01-01 | 05:04:31 | 05:06:31 | 2021-01-01 05:04:31 | 0 days 00:00:00 | 5 |
关于python - 如何将公交车进/出站记录汇总到行程中,赋予唯一ID,并剔除时间差异小的重复记录?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66002220/
我有一个网站。 必须登录才能看到里面的内容。 但是,我使用此代码登录。 doc = Jsoup.connect("http://46.137.207.181/Account/Login.aspx")
我正在尝试为我的域创建一个 SPF 记录并使我的邮件服务器能够对其进行评估。我在邮件服务器上使用 Postfix 并使用 policyd-spf (Python) 来评估记录。目前,我通过我的私有(p
我需要为负载平衡的 AWS 站点 mywebsite.com 添加 CName 记录。记录应该是: @ CNAME mywebsite.us-east-1.elb.amazon
我目前正在开发一个相当大的多层应用程序,该应用程序将部署在海外。虽然我希望它在解聚后不会折叠或爆炸,但我不能 100% 确定这一点。因此,如果我知道我可以请求日志文件,以准确找出问题所在以及原因,那就
我使用以下命令从我的网络摄像头录制音频和视频 gst-launch-0.10 v4l2src ! video/x-raw-yuv,width=640,height=480,framerate=30/1
我刚刚开始使用 ffmpeg 将视频分割成图像。我想知道是否可以将控制台输出信息保存到日志文件中。我试过“-v 10”参数,也试过“-loglevel”参数。我在另一个 SO 帖子上看到使用 ffmp
我想针对两个日期查询我的表并检索其中的记录。 我这样声明我的变量; DECLARE @StartDate datetime; DECLARE @EndDate datetime; 并像这样设置我的变量
在 javascript 中,我可以使用简单的 for 循环访问对象的每个属性,如下所示 var myObj = {x:1, y:2}; var i, sum=0; for(i in myObj) s
最近加入了一个需要处理大量代码的项目,我想开始记录和可视化调用图的一些流程,让我更好地理解一切是如何组合在一起的。这是我希望在我的理想工具中看到的: 每个节点都是一个函数/方法 如果一个函数可以调用另
如何使用反射在F#中创建记录类型?谢谢 最佳答案 您可以使用 FSharpValue.MakeRecord [MSDN]创建一个记录实例,但是我认为F#中没有任何定义记录类型的东西。但是,记录会编译为
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。 想改善这个问题吗?更新问题,使其成为 on-topic对于堆栈溢出。 3年前关闭。 Improve thi
我是 Sequelize 的新手并且遇到了一些语法问题。我制作了以下模型: // User sequelize.define('user', { name: { type: DataTyp
${student.name} Notify 这是我的output.jsp。请注意,我已经放置了一个链接“Notify”以将其转发到 display.jsp 上。但我不确定如何将 Stud
例如,这是我要做的查询: server:"xxx.xxx.com" AND request_url:"/xxx/xxx/xxx" AND http_X_Forwarded_Proto:(https O
我一直在开发大量 Java、PHP 和 Python。所有这些都提供了很棒的日志记录包(分别是 Log4J、Log 或logging)。这在调试应用程序时有很大帮助。特别是当应用程序 headless
在我的Grails应用程序中,我异步运行一些批处理过程,并希望该过程记录各种状态消息,以便管理员以后可以检查它们。 我考虑过将log4j JDBC附加程序用作最简单的解决方案,但是据我所知,它不使用D
我想将进入 MQ 队列的消息记录到数据库/文件或其他日志队列,并且我无法修改现有代码。是否有任何方法可以实现某种类似于 HTTP 嗅探器的消息记录实用程序?或者也许 MQ 有一些内置的功能来记录消息?
如果我有一条包含通用字段的记录,在更改通用字段时是否有任何方法可以模仿方便的 with 语法? 即如果我有 type User = // 'photo can be Bitmap or Url {
假设我有一个名为 Car 的自定义对象。其中的所有字段都是私有(private)的。 public class Car { private String mName; private
当记录具有特定字段时,我需要返回 true 的函数,反之亦然。示例: -record(robot, {name, type=industrial, ho
我是一名优秀的程序员,十分优秀!