- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
除此之外,我正在尝试处理大型数据集,这就是我从 Excel 切换到 Python 的原因。我设法解决了大多数问题,但是,对于我明显糟糕的谷歌技能来说,以下问题似乎很复杂。
可用数据:我有一个包含 50 万行的 pandas dataframe1。每行包含一个时间戳、一个机器编号和一个指示器(如果处于事件状态)。我有另一个 pandas dataframe2,大约有 3000 万行(一年每秒一次)和 60 列(每台机器 1 列)。
目标:我想通过查看 df1 中的每一行来填充 df2 的空矩阵。在 df1 中,我想使用时间戳信息在 df2 中查找相应的行,在 df1 中,我想使用机器编号在 df2 中查找相应的列,然后将值粘贴到 df2 中
import pandas as pd
df_1 = pd.DataFrame({'timestamp':[1, 1, 4, 5],
'machine_number':[123, 789, 789, 123],
'active_inactive':[1, 0, 1, 0]})
df_2 = pd.DataFrame({'time':[1, 2, 3, 4, 5],
'123':['', '', '', '', ''],
'789':['', '', '', '', '']})
在索引匹配模拟之后,我的目标是以下结果
df_3 = pd.DataFrame({'time':[1, 2, 3, 4, 5],
'123':[1, '', '', '', 0],
'789':[0, '', '', 1, '']})
最终我想用最新的事件/非事件指示器填充空值,直到出现新指示器:
df_4 = pd.DataFrame({'time':[1, 2, 3, 4, 5],
'123':[1, 1, 1, 1, 0],
'789':[0, 0, 0, 1, 1]})
但这可能是另一天的问题,我可以尝试自己解决。
预先感谢您提供任何有用的信息。
最佳斯文
最佳答案
欢迎来到SO。所以这个问题实际上比看起来要复杂一些。首先要了解的是 pandas 最适合“整洁”的数据 ( https://en.wikipedia.org/wiki/Tidy_data )。虽然 Excel 非常适合数据输入,但它并没有针对分析进行优化(正如您所发现的)。当您更多地使用数据帧进行编码时,您将了解更多相关内容,但现在只需了解事物需要采用不同的格式才能正常工作。
因此,首先您需要将第二个数据名从宽格式转换为长格式(您需要整理它):
df_1 = pd.DataFrame({'timestamp':[1, 1, 4, 5],
'machine_number':[123, 789, 789, 123],
'active_inactive':[1, 0, 1, 0]})
df_2 = pd.DataFrame({'timestamp':[1, 2, 3, 4, 5], # note that I changed this name to 'timestamp' so
# it's the same in both dataframe
'123':['', '', '', '', ''],
'789':['', '', '', '', '']})
(df_2_melted = pd.melt(df_2, id_vars=['timestamp'],
value_vars=['123', '789'],
var_name='machine_number')
.drop(columns='value'))
df_2_melted['machine_number'] = df_2_melted['machine_number'].astype('int64')
# I had to change this column to 'int64' because the next operation won't work unless the
# columns are the same type
这就是你的:
timestamp machine_number
0 1 123
1 2 123
2 3 123
3 4 123
4 5 123
5 1 789
6 2 789
7 3 789
8 4 789
9 5 789
然后您可以将这些列“合并”在一起。这就像 sql 或 excel 中的 index_match
/vlookup
的连接操作:
merged = pd.merge(df_2_melted, df_1, how='left', on=['timestamp', 'machine_number'])
merged
timestamp machine_number active_inactive
0 1 123 1.0
1 2 123 NaN
2 3 123 NaN
3 4 123 NaN
4 5 123 0.0
5 1 789 0.0
6 2 789 NaN
7 3 789 NaN
8 4 789 1.0
9 5 789 NaN
然后,如果您想将其恢复为与原始数据帧中相同的格式,则需要将其透视
(顾名思义,这就像 Excel 中的数据透视表) ):
merged.pivot(index='timestamp', columns='machine_number', values='active_inactive').reset_index(drop=True)
machine_number 123 789
0 1.0 0.0
1 NaN NaN
2 NaN NaN
3 NaN 1.0
4 0.0 NaN
话虽这么说,您将希望保持所有内容都以整洁的格式进行分析,因此,如果您想最终将其写成电子表格以提供给其他人,我仅建议您进行转换。
关于Python:使用 df1 的 2 列中的信息模拟 Excel 的索引匹配,用于查找 df2 中的位置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56577828/
我在为 MacOSX 构建的独立包中添加 DMG 背景的自定义图标时遇到问题。我在项目的根目录中添加了一个包。正在从中加载自定义图标,但没有加载 DMG 背景图标。我正在使用 Java fx 2.2.
Qt for Symbian 和 Qt for MeeGo 有什么区别?我知道 Qt 是一个交叉编译平台。这是否意味着如果我使用来自 Qt 的库,完全相同的库可以在所有支持 Qt 的设备(例如 Sym
我正在尝试使用 C# .NET 3.5/4.0 务实地运行 SQL Server 数据库的备份。我已经找到了如何完成此操作,但是我似乎找不到用于备份的命名空间库。 我正在寻找 Microsoft.Sq
我最近在疯狂学习 Java,但我通常是一名 .NET 开发人员。 (所以请原谅我的新手问题。) 在 .Net 中,我可以在不使用 IIS 的情况下开发 ASP.Net 页面,因为它有一个简化的 Web
这post仅当打印命令中有字符串时才有用。现在我有大量的源代码,其中包含一条声明,例如 print milk,butter 应该格式化为 print(milk,butter) 用\n 捕获行尾并不成功
所以我的问题是: https://gist.github.com/panSarin/4a221a0923927115584a 当我保存这个表格时,我收到了标题中的错误 NoMethodError (u
如何让 Html5 音频在点击时播放声音? (ogg 用于 Firefox 等浏览器,mp3 用于 chrome 等浏览器) 到目前为止,我可以通过 onclick 更改为单个文件类型,但我无法像在普
如果it1和it2有什么区别? std::set s; auto it1 = std::inserter(s, s.begin()); auto it2 = std::inserter(s, s.en
4.0.0 com.amkit myapp SpringMVCFirst
我目前使用 Eclipse 作为其他语言的 IDE,而且我习惯于不必离开 IDE 做任何事情 - 但是我真的很难为纯 ECMAScript-262 找到相同或类似的设置。 澄清一下,我不是在寻找 DO
我想将带有字符串数组的C# 结构发送到C++ 函数,该函数接受void * 作为c# 结构和char** 作为c# 结构字符串数组成员。 我能够将结构发送到 c++ 函数,但问题是,无法从 c++ 函
我正在使用动态创建的链接: 我想为f:param附加自定义转换器,以从#{name}等中删除空格。 但是f:param中没有转换器
是否可以利用Redis为.NET创建后写或直写式缓存?理想情况下,透明的高速缓存是由单个进程写入的,并且支持从数据库加载丢失的数据,并每隔一段时间持久保存脏块? 我已经搜查了好几个小时,也许是goog
我正在通过bash执行命令的ssh脚本。 FILENAMES=( "export_production_20200604.tgz" "export_production_log_2020060
我需要一个正则表达式来出现 0 到 7 个字母或 0 到 7 个数字。 例如:匹配:1234、asdbs 不匹配:123456789、absbsafsfsf、asf12 我尝试了([a-zA-Z]{0
我有一个用于会计期间的表格,该表格具有期间结束和开始的开始日期和结束日期。我使用此表来确定何时发生服务交易以及何时在查询中收集收入,例如... SELECT p.PeriodID, p.FiscalY
我很难为只接受字符或数字的 Laravel 构建正则表达式验证。它是这样的: 你好<-好的 123 <- 好的 你好123 <-不行 我现在的正则表达式是这样的:[A-Za-z]|[0-9]。 reg
您实际上会在 Repeater 上使用 OnItemDataBound 做什么? 最佳答案 “此事件为您提供在客户端显示数据项之前访问数据项的最后机会。引发此事件后,数据项将被清空,不再可用。” ~
我有一个 fragment 工作正常的项目,我正在使用 jeremyfeinstein 的 actionbarsherlock 和滑动菜单, 一切正常,但是当我想自定义左侧抽屉列表单元格时,出现异常
最近几天,我似乎平均分配时间在构建我的第一个应用程序和在这里发布问题!! 这是我的第一个应用程序,也是我们的设计师完成的第一个应用程序。我试图满足他所做的事情的外观和感觉,但我认为他没有做适当的事情。
我是一名优秀的程序员,十分优秀!