python - pandas python根据一个或多个其他列的子集更新列A的子集-6ren

python - pandas python根据一个或多个其他列的子集更新列A的子集

转载作者：行者123 更新时间：2023-12-02 02:45:55

24

4

编辑我已经修改了以下描述的部分，以阐明我所说的“功能”和“组”的含义，修正错字，并包括我尝试过的其他代码。

我的 Pandas df有450万行和23列。下表显示了从df2生成的df的几行。它显示了两个组(eeskin和hduquant)和三个功能(失败，exit_status和job_number):

# report by group

        group      feature  #_cats #_jobs  rank        top_value  freq  \
10   eeskin    failed       1       6     -1     100              6      
21   eeskin    exit_status  1       6     -1     0                6     
0    eeskin    job_number   1       6     -1     4.08219e+06      6      
21   hduquant  exit_status  5       64    -1     37               58     
11   hduquant  failed       2       64    -1     0                63     
1    hduquant  job_number   2       64    -1     4.07192e+06      61

“等级”列的值为-1是占位符。

我想为每个功能更新每个组的排名。在这种情况下，“功能”表示“功能”列中的每个唯一值:失败，exit_status和job_number。例如，更新job_number的排名意味着仅在“功能”列等于job_number的行上修改“rank”列中的值。事实证明，这些行中的每一行还对应于“组”列中的不同组值。

因此，我不想一次更新每个列“rank”中的所有值，而是要逐个功能地对它们进行处理，其中每次写入都会更新单个功能上所有组的值。

特征“job_number”的等级基于“#_jobs” col的值(最高的作业数量是等级1)。对于功能“失败”，排名基于“top_value”的“频率”。 exits_status可以暂时保持-1。

结果应如下所示:

        group      feature  #_cats #_jobs  rank        top_value  freq  \
10   eeskin    failed       1       6      1     100              6      
21   eeskin    exit_status  1       6     -1     0                6     
0    eeskin    job_number   1       6      2     4.08219e+06      6      
21   hduquant  exit_status  5       64    -1     37               58     
11   hduquant  failed       2       64     2     0                63     
1    hduquant  job_number   2       64     1     4.07192e+06      61

“eeskin”的 failed排名为1，而 job_number排名为2。 “hdquant”对于 failed排名2，对于 job_number排名1。

我可以使用以下代码更新 job_number的等级值:

if feat == 'job_number':
     grouped = grouped.sort_values("#_jobs", ascending=False)
     grouped['rank'] = grouped.index + 1

        group      feature  #_cats #_jobs  rank        top_value  freq  \
10   eeskin    failed       1       6     -1     100              6      
21   eeskin    exit_status  1       6     -1     0                6     
0    eeskin    job_number   1       6      2     4.08219e+06      6      
21   hduquant  exit_status  5       64    -1     37               58     
11   hduquant  failed       2       64    -1     0                63     
1    hduquant  job_number   2       64     1     4.07192e+06      61

但是，当我尝试同时更新两者时，都不会更新:

feat = ['job_number', 'failed']

for f in feat:
    if f == 'job_number':
        grouped = grouped.sort_values("#_jobs", ascending=False)
        grouped['rank'] = grouped.index + 1
    elif f == 'failed':  #  or f == 'exit_status'
        x = len(not grouped[f] == 0)
        grouped['x'] = x
        grouped = grouped.sort_values("x", ascending=False)
        grouped['rank'] = grouped.index + 1      
        del grouped['x']

        group      feature  #_cats #_jobs  rank        top_value  freq  \
10   eeskin    failed       1       6     -1     100              6      
21   eeskin    exit_status  1       6     -1     0                6     
0    eeskin    job_number   1       6     -1     4.08219e+06      6      
21   hduquant  exit_status  5       64    -1     37               58     
11   hduquant  failed       2       64    -1     0                63     
1    hduquant  job_number   2       64    -1     4.07192e+06      61

我已经尝试实施Matt W.的建议，但到目前为止没有成功:

df.loc[df.feature == 'job', 'rank'] = df.loc[df.feature == 'job', 'jobs'].rank(ascending=False)

我对他的代码做了如下修改，但也没有成功:

df2.loc[df2['feature' == 'job_number'] & df2['rank']] = (df2.loc[df2['#_jobs']].rank(ascending=False))

附录 @Matt W.

输入:

import pandas as pd

df = pd.DataFrame([['g1', 'u1', 3902779, '2018-09-27 21:38:06', '2018-10-01 07:24:38', '2018-10-01 08:00:42', 0, 0, 'single', 1, 55696, 609865728.0, 4.0, 6.0, 0, 0, 4.0, 0, 'single', 1, 0, pd.Timedelta('3 days 09:46:32'), pd.Timedelta('00:36:04')]], 
                          columns=['group', 'owner', 'job_number', 'submission_time', 'start_time', 'end_time', 'failed', 'exit_status', 'granted_pe', 'slots', 'task_number', 'maxvmem', 'h_data', 'h_rt', 'highp', 'exclusive', 'h_vmem', 'gpu', 'pe', 'slot', 'campus', 'wait_time', 'wtime'])
df = (df.astype(dtype={'group':'str', 'owner':'str', 'job_number':'int', 'submission_time':'datetime64[ns]', 'start_time':'datetime64[ns]', 'end_time':'datetime64[ns]', 'failed':'int', 'exit_status':'int', 'granted_pe':'str', 'slots':'int', 'task_number':'int', 'maxvmem':'float', 'h_data':'float', 'h_rt':'float', 'highp':'int', 'exclusive':'int', 'h_vmem':'float', 'gpu':'int', 'pe':'str', 'slot':'int', 'campus':'int', 'wait_time':'timedelta64[ns]', 'wtime':'timedelta64[ns]'}))
df

输出:

         group  owner  job_number      submission_time           start_time             end_time  failed  exit_status  granted_pe  slots  task_number       maxvmem  h_data  h_rt  highp  exclusive  h_vmem  gpu      pe  slot  campus       wait_time     wtime
      0  g1     u1     3902779     2018-09-27 21:38:06  2018-10-01 07:24:38  2018-10-01 08:00:42  0       0            single      1      55696         609865728.0  4.0     6.0   0      0          4.0     0    single  1     0      3 days 09:46:32  00:36:04  
4080243  g50    u92    4071923     2018-10-25 02:08:14  2018-10-27 01:41:58  2018-10-27 02:08:50  0       0            shared      1      119          7.654482e+08  2.5     1.5   0      1          16.0    0    shared  1     0      1 days 23:33:44  00:26:52
4080244  g50    u92    4071922     2018-10-25 02:08:11  2018-10-27 01:46:53  2018-10-27 02:08:53  0       0            shared      1      2208         1.074463e+09  2.5     1.5   0      10         24.0    0    shared  1     0      1 days 23:38:42  00:22:00

代码产生第一行。我只是为了多样化而增加了几行。

有203个群组，699个所有者。有数千个作业:“作业”定义为job_number，task_number和Submitting_time的唯一组合。

我想创建一个整体报告，每个组一个报告，都集中在资源使用上。

总体报告的组成部分:

一般统计:

计数，平均值，std，最小值，25％，50％，75％，最大值(数字)

计数，唯一，顶部，频率(字符串)

count，第一个，最后一个＃时间增量cols(时间增量)

工作:

任务编号最多的job_number，job_number提交时间最多的

最早/最新的

作业(如上所定义)

提交时间，开始时间和结束时间

工作最多

失败!= 0

exit_status!= 0

作业最多(值的总和)

grant_pe，slot，maxvmem，h_data，h_rt，exclusive，h_vmem和gpu

工作最多(计数/ len)

pe ==单个

pe ==共享

pe == pe的每个addtl类别

最长/最短累积的

作业

wait_time和wtime

拥有者:

工作最多的所有者

拥有最早/最新的所有者

提交时间，开始时间，结束时间

拥有者最多

失败!= 0

exit_status!= 0

拥有最多的所有者(值的总和)

grant_pe，插槽，maxvmem，h_data，h_rt，独占，h_vmem，gpu

拥有者最多(计数/ len)

pe ==单个

pe ==共享

pe == pe的每个addtl类别

最长/最短累积的

所有者

wait_time和wtime

团体:

职位最多的

拥有最多所有者的

组

最早/最新的

组

提交时间，开始时间和结束时间

群组最多

失败!= 0

exit_status!= 0

组，每个组最多(值的总和)

grant_pe，slot，maxvmem，h_data，h_rt，exclusive，h_vmem和gpu

群组最多

pe ==单个

pe ==共享

pe == pe的每个addtl类别

最长/最短累积的

组

wait_time和wtime

各个“按组”报告的组成部分:

按功能(df中的列):

一般统计:

计数，平均值，std，最小值，25％，50％，75％，最大值(数字)

计数，唯一，顶部，频率(字符串)

count，第一个，最后一个＃时间增量cols(时间增量)

该组的统计信息:

按工作:

任务编号最多的job_number，job_number最多submittion_times的

最早/最新的

作业(如上所定义)

提交时间，开始时间和结束时间

工作最多

失败!= 0

exit_status!= 0

工作最多

grant_pe，slot，maxvmem，h_data，h_rt，exclusive，h_vmem和gpu

工作最多

pe ==单(count / len)

pe ==共享(计数/ len)

pe == pe(count / len)的每个addtl类别

最长/最短累积的

作业

wait_time和wtime

由业主:

工作最多的所有者

拥有最早/最新的所有者

提交时间，开始时间，结束时间

拥有者最多

失败!= 0

exit_status!= 0

拥有者最多

grant_pe，slot，maxvmem，h_data，h_rt，exclusive，h_vmem和gpu

拥有者最多

pe ==单(count / len)

pe ==共享(计数/ len)

pe == pe(count / len)的每个addtl类别

最长/最短累积的

所有者

wait_time和wtime

排名:

在这里，我希望每个组都与其他所有组相对，从使用率最高或失败最多的1个到使用率最低的203个。我将使用这些值绘制每个组的图形。

排名:

的数量

职位，job_numbers，task_numbers，提交时间

上学时间

提交时间，开始时间，结束时间

上次时间

提交时间，开始时间，结束时间

的数量

失败!= 0

exit_status!= 0

的数量

grant_pe，slot，maxvmem，h_data，h_rt，exclusive，h_vmem和gpu

的数量

pe ==单个

pe ==共享

pe == pe的每个addtl类别

所有工作总计

wait_time和wtime

最佳答案

您可以使用pandas .loc来完成此操作

初始化数据帧:

df = pd.DataFrame({'group':['e','e','e','h','h','h'],
                   'feature':['fail', 'exit', 'job', 'exit', 'fail', 'job'],
                   'cats':[1, 1, 1, 5, 2, 2],
                   'jobs':[1, 1, 1, 64, 64, 64],
                   'rank':[-1, -1, -1, -1, -1, -1],
                   'topvalue':[100, 0, 4, 37, 0, 3.9],
                   'freq':[1, 1, 1, 58, 63, 61]
})

我们想对作业功能进行排名，因此我们只需要使用 .loc隔离排名位置，然后在分配的右侧，我们使用 .loc隔离jobs列并使用 .rank()函数

按职位价值对职位特征进行排名:

df.loc[df.feature == 'job', 'rank'] = df.loc[df.feature == 'job', 'jobs'].rank(ascending=False)

最高频率不为0时按频率排列失败特征:

对于这个，您的排名确实是0，这似乎与您所说的相反。因此，我们将通过两种方式进行此操作。

这样，我们过滤掉0即可开始，并对其他所有内容进行排名。这将使 top_value == 0排名保持为-1

df.loc[(df.feature == 'fail') & (df.topvalue != 0), 'rank'] = (
        df.loc[(df.feature == 'fail') & (df.topvalue != 0), 'freq']).rank(ascending=True)

这样我们就不会滤除0。

df.loc[(df.feature == 'fail') & (df.topvalue != 0), 'rank'] = (
        df.loc[(df.feature == 'fail') & (df.topvalue != 0), 'freq']).rank(ascending=True)

关于python - pandas python根据一个或多个其他列的子集更新列A的子集，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/55034626/

24

4

0

文章推荐： python-3.x - 在 BigQuery python api 中设置聚类列

文章推荐： python-3.x - 如何有效地在矩阵中获得一种 "maximum"

文章推荐： sql - 如何通过分组和计数在 SSIS 中获得所需的输出？

文章推荐： r - 从 R 执行时 SQL Server 查询失败

r - 子集 ffdf 对象(子集 vs ffwhich)
我正在执行大型 ffdf 对象的子集，我注意到当我使用 subset.ff 时，它会生成大量 NA。我通过使用 ffwhich 尝试了另一种方法，结果要快得多，并且没有生成 NA。这是我的测试: li
Prolog - 子集
我对 Prolog 有点陌生。我正在尝试编写一个函数subset(Set, Subset) 来确定Subset 是否是Set 的子集(duh)。另外，如果第二个参数没有实例化，它应该输出每个可能的子集
Leetcode刷题(第78题)——子集
一、题目给你一个整数数组 nums ，数组中的元素互不相同。返回该数组所有可能的子集（幂集）。解集不能包含重复的子集。你可以按任意顺序返回解集。二、示例输入：nums = [1,2
R:子集:使用除一列之外的整个数据框
我想从数据帧的操作中排除一列。当然，我可以在没有要排除的列的情况下复制数据框，但这似乎是一种解决方法。我认为必须有一种更简单的方法来进行子集化。所以这个示例代码应该显示我在做什么。 df colMe
r - 子集 SpatialPolygonsDataFrame
我有一个 SpatialPolygonsDataFrame我通过使用 readOGR 读取 shapefile 创建的在 rgdal包裹。我正在尝试使用它来使用 spsample 生成采样网格在 sp
list - 如何在Prolog中获取所有连续的子列表/子集？
我想解决一个简单的问题，但即使我尝试了很多不同的方法，我也找不到解决方案。我正在使用 SICStus Prolog (如果这很重要)，并且我想获取列表的所有子列表/子集(我不知道哪个术语是正确的)，其
r - 子集 shinyTable
我目前正在使用 shinyTable，它是 HandsonTable (https://github.com/trestletech/shinyTable) 的 shiny 兼容实现。巧合的是，我意识
Delphi - ADODataSet 子集
我正在 Delphi 中构建一个表单，其中包含服务下拉列表和用于选择服务的附加组件网格。我获取的数据来自 API，并且我将服务的数据存储在 ADODataSet 中，如下所示: ID (integer
r - 子集()一个因子的观察次数
subset() 函数有问题。如何通过观察次数对我的数据框的一个因子进行子集化？ NAME CLASS COLOR VALUE antonio
perl，比较散列，子集
我想知道是否有任何简单的算法来比较一个散列是否是另一个散列的子集。例如，如果 $HASH{A} = B; $HASH{B} = C; $HASH{C} = D; $HASH2{A} = B; $HA
arrays - 如何在postgresql中找到任意大小数组的所有组合(子集)
这个问题在这里已经有了答案: Array combinations without repetition (1 个回答) 关闭 8 年前。给定一个数组，如何在 postgresql 中找到一定大小
c++ - 子集 vector
我有下一个程序。我应该如何在 main 中使用迭代器以显示总和为 0 的子集？我的程序应该打印: 2 -2 5 -5 # include # include using namespace st
javascript - Markdown 子集
我正在寻找一个可以自定义的 Markdown 解析器，最好是 Javascript。特别是，我想删除使用实际 HTML 标签的选项。我尝试编辑摊牌的来源，但无法弄清楚。 Jquery 集成也很好，尽管
linux - 使用保存在另一个文件中的标识符列表从主文件中提取信息(子集)
我有一个包含名称列表的文件(引用文件 1): Apple Bat Cat 我有另一个文件(引用文件 2)，其中包含名称列表和详细信息引用: Apple bla blaa aaaaaaaaagggggg
linux - 如何从命令行找到两个文件的集合 - 子集？
我有两个带有排序行的文件。一个文件 (B) 是另一个文件 (A) 的子集。我想找到 A 中不在 B 中的所有行。理想情况下，我想创建一个包含这些行的文件 (C)。这在 Unix 中可能吗？我正在寻找一
r - 过滤/子集/删除在R中字符串中间包含字符的行
我有一个包含肽序列的列的数据框，我只想保留字符串中没有内部“R”或“K”的行。 df1 <- data.frame( Peptide = c("ABCOIIJUHFSAUJHR", "AOFI
r - 子集 1 列矩阵删除行名
这个问题在这里已经有了答案: How to subset matrix to one column, maintain matrix data type, maintain row/column na
r - 子集 R 中的列表向量
假设我有一个列表向量: library(tidyverse) d 2) # A tibble: 5 x 1 x 1 2 3 4 5 最佳答案应该是 lengt
javadoc 子集/java 库组织
我自己从来没有运行过javadoc(无论是在命令行还是ant's javadoc task；我将使用ant)——我需要为我编写的库生成一个javadoc。问题是我的 java 库被组织成几个包，在
cryptography - 过期多方加密方案中的 key 子集
假设一个多方加密方案，类似于答案:Encryption with multiple different keys? . 那是。一组键K可以用来破译密文。有没有办法过期: K'⊆ K 这样 K \ K

首页

博学

6Ren·AI

商城

python - pandas python根据一个或多个其他列的子集更新列A的子集