- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个非常大的 df 正在尝试处理,但到目前为止我发现的唯一方法是使用 for 循环,这花费的时间太长了。我知道这是可能的,但不确定如何希望有人能提供帮助。假设我有以下 df:
Date ID Name Old_Value New_Value
2018-01-01 101 Bob 10.0 12.0
2018-01-01 102 Tim 9.0 14.0
..... 15 mil rows
我需要找到一种获取 Bob 的 New_Value 并将其用作他的下一个 Old_Value 的方法,以便 df 看起来如下所示:
Date ID Name Old_Value New_Value
2018-01-01 101 Bob 10.0 12.0
2018-01-01 102 Tim 9.0 14.0
2018-02-01 101 Bob 12.0 9.0
2018-02-14 101 Bob 9.0 7.0
2018-02-14 102 Tim 14.0 19.0
2018-02-21 101 Bob 7.00 6.0
2018-02-21 102 Tim 19.0 16.0
2018-02-23 102 Tim 16.0 14.0
问题是在知道每个 ID 的旧值之前无法计算新值,并且日期必须在整个 df 中按升序排列。因此,在第三行中将 9.0 作为 New_Value 返回的计算依赖于更新后的 Old_Value(从第一行中的 New_Value 返回 12.0)。
有些 ID 在 df 中出现的频率高于其他 ID,并且它们出现的时间没有固定的顺序。数据框有超过 100,000 个唯一 ID,使用 for 循环不是一个可行的解决方案,因为运行时间长达数千小时。
*更新:感谢您到目前为止的回答,我添加了更多信息以使其更加清晰。
最佳答案
我不确定我是否完全理解您的问题,但也许这个适用于按时排序的数据框的解决方案可以提供帮助:
首先我模仿了你的数据库(这将花费大部分时间):
import pandas as pd
import numpy as np
import time
df_len = 15*10**6
user_size = 100000
now = int(time.time())
df = pd.DataFrame(index = range(df_len))
df['time_delta'] = np.random.choice(60, df_len)
df['time_delta_sum'] = df.time_delta.cumsum()
df['time_sec']= now - df.time_delta_sum
df['user_id'] = np.random.choice(user_size, df_len)
df['New_Value'] = np.random.choice(80, df_len)
df.sort_values(['user_id', 'time_sec'], inplace = True)
df['Old_Value'] = None
df['Old_Value'].iloc[1:] = df.New_Value.iloc[:-1].values
df['Old_Value'].iloc[0] = np.random.choice(80)
df.sort_values(['time_sec'], inplace = True)
df['date_time'] = df['time_sec'].apply(time.ctime)
df = df[['date_time', 'user_id', 'Old_Value', 'New_Value']].reset_index(drop = True)
这条尾部看起来像:
df.tail() =
date_time user_id Old_Value New_Value
14999995 Thu May 17 01:14:14 2018 33790 42 23
14999996 Thu May 17 01:14:36 2018 44252 58 75
14999997 Thu May 17 01:15:18 2018 86755 7 45
14999998 Thu May 17 01:15:44 2018 31874 24 72
14999999 Thu May 17 01:16:20 2018 94365 27 29
应该做更新的函数
def Append_To_Df(user_id, new_value):
global df
old_value = df.loc[df.user_id == user_id, 'New_Value'].iloc[-1]
df = df.append(pd.DataFrame([[time.ctime(),user_id,old_value,new_value]], columns = df.columns, index = [len(df)]))
然后使用用户 ID 和该用户的新值调用此函数
user_id = 3357
new_value = 35
Append_To_Df(user_id, new_value)
数据帧的尾部将如下所示:
df.tail() =
date_time user_id Old_Value New_Value
14999996 Thu May 17 01:14:36 2018 44252 58 75
14999997 Thu May 17 01:15:18 2018 86755 7 45
14999998 Thu May 17 01:15:44 2018 31874 24 72
14999999 Thu May 17 01:16:20 2018 94365 27 29
15000000 Thu May 17 01:18:34 2018 3357 37 35
请注意,这仅在用户已在数据库中时才有效。
关于python - DataFrame 中的最后一个匹配值(Python),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50379490/
假设我有 3 个 DataFrame。其中一个 DataFrame 的列名不在其他两个中。 using DataFrames df1 = DataFrame([['a', 'b', 'c'], [1,
假设我有 3 个 DataFrame。其中一个 DataFrame 的列名不在其他两个中。 using DataFrames df1 = DataFrame([['a', 'b', 'c'], [1,
我有一个 largeDataFrame(多列和数十亿行)和一个 smallDataFrame(单列和 10,000 行)。 只要 largeDataFrame 中的 some_identifier 列
我有一个函数,可以在其中规范化 DataFrame 的前 N 列。我想返回规范化的 DataFrame,但不要管原来的。然而,该函数似乎也会对传递的 DataFrame 进行变异! using D
我想在 Scala 中使用指定架构在 DataFrame 上创建。我尝试过使用 JSON 读取(我的意思是读取空文件),但我认为这不是最佳实践。 最佳答案 假设您想要一个具有以下架构的数据框: roo
我正在尝试从数据框中删除一些列,并且不希望返回修改后的数据框并将其重新分配给旧数据框。相反,我希望该函数只修改数据框。这是我尝试过的,但它似乎并没有做我所除外的事情。我的印象是参数是作为引用传递的,而
我有一个包含大约 60000 个数据的庞大数据集。我会首先使用一些标准对整个数据集进行分组,接下来我要做的是将整个数据集分成标准内的许多小数据集,并自动对每个小数据集运行一个函数以获取参数对于每个小数
我遇到了以下问题,并有一个想法来解决它,但没有成功:我有一个月内每个交易日的 DAX 看涨期权和看跌期权数据。经过转换和一些计算后,我有以下 DataFrame: DaxOpt 。现在的目标是消除没有
我正在尝试做一些我认为应该是单行的事情,但我正在努力把它做好。 我有一个大数据框,我们称之为lg,还有一个小数据框,我们称之为sm。每个数据帧都有一个 start 和一个 end 列,以及多个其他列所
我有一个像这样的系列数据帧的数据帧: state1 state2 state3 ... sym1 sym
我有一个大约有 9k 行和 57 列的数据框,这是“df”。 我需要一个新的数据框:'df_final'- 对于“df”的每一行,我必须将每一行复制“x”次,并将每一行中的日期逐一增加,也就是“x”次
假设有一个 csv 文件如下: # data.csv 0,1,2,3,4 a,3.0,3.0,3.0,3.0,3.0 b,3.0,3.0,3.0,3.0,3.0 c,3.0,3.0,3.0,3.0,3
我只想知道是否有人对以下问题有更优雅的解决方案: 我有两个 Pandas DataFrame: import pandas as pd df1 = pd.DataFrame([[1, 2, 3], [
我有一个 pyspark 数据框,我需要将其转换为 python 字典。 下面的代码是可重现的: from pyspark.sql import Row rdd = sc.parallelize([R
我有一个 DataFrame,我想在 @chain 的帮助下对其进行处理。如何存储中间结果? using DataFrames, Chain df = DataFrame(a = [1,1,2,2,2
我有一个包含 3 列的 DataFrame,名为 :x :y 和 :z,它们是 Float64 类型。 :x 和 "y 在 (0,1) 上是 iid uniform 并且 z 是 x 和 y 的总和。
这个问题在这里已经有了答案: pyspark dataframe filter or include based on list (3 个答案) 关闭 2 年前。 只是想知道是否有任何有效的方法来过
我刚找到这个包FreqTables ,它允许人们轻松地从 DataFrames 构建频率表(我正在使用 DataFrames.jl)。 以下代码行返回一个频率表: df = CSV.read("exa
是否有一种快速的方法可以为 sort 指定自定义订单?/sort!在 Julia DataFrames 上? julia> using DataFrames julia> srand(1); juli
在 Python Pandas 和 R 中,可以轻松去除重复的列 - 只需加载数据、分配列名,然后选择那些不重复的列。 使用 Julia Dataframes 处理此类数据的最佳实践是什么?此处不允许
我是一名优秀的程序员,十分优秀!