- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个数据框如下:
import pandas as pd
import numpy as np
df = pd.DataFrame.from_dict(
{'id': {(1, 0, 'obj11'): '3',
(1, 0, 'obj12'): '9',
(1, 0, 'obj13'): '5',
(1, 0, 'obj14'): '4',
(1, 0, 'obj15'): '23',
(1, 0, 'obj16'): '52',
(1, 0, 'obj17'): '22',
(1, 0, 'obj18'): '13',
(1, 0, 'obj19'): '8',
(1, 0, 'obj20'): '26',
(1, 1000, 'obj11'): '3',
(1, 1000, 'obj12'): '9',
(1, 1000, 'obj13'): '5',
(1, 1000, 'obj14'): '4',
(1, 1000, 'obj15'): '23',
(1, 1000, 'obj16'): '52',
(1, 1000, 'obj17'): '22',
(1, 1000, 'obj18'): '13',
(1, 1000, 'obj19'): '8',
(1, 1000, 'obj20'): '26',
(1, 2000, 'obj11'): '3',
(1, 2000, 'obj12'): '9',
(1, 2000, 'obj13'): '5',
(1, 2000, 'obj14'): '4',
(1, 2000, 'obj15'): '23',
(1, 2000, 'obj16'): '52',
(1, 2000, 'obj17'): '22',
(1, 2000, 'obj18'): '13',
(1, 2000, 'obj19'): '8',
(1, 2000, 'obj20'): '26',
(1, 3000, 'obj11'): '3',
(1, 3000, 'obj12'): '9',
(1, 3000, 'obj13'): '5',
(1, 3000, 'obj14'): '4',
(1, 3000, 'obj15'): '23',
(1, 3000, 'obj16'): '52',
(1, 3000, 'obj17'): '22',
(1, 3000, 'obj18'): '13',
(1, 3000, 'obj19'): '8',
(1, 3000, 'obj20'): '26',
(1, 4000, 'obj11'): '3',
(1, 4000, 'obj12'): '9',
(1, 4000, 'obj13'): '5',
(1, 4000, 'obj14'): '4',
(1, 4000, 'obj15'): '23',
(1, 4000, 'obj16'): '52',
(1, 4000, 'obj17'): '22',
(1, 4000, 'obj18'): '13',
(1, 4000, 'obj19'): '8',
(1, 4000, 'obj20'): '26'},
'var': {(1, 0, 'obj11'): 61.05099868774414,
(1, 0, 'obj12'): 52.6510009765625,
(1, 0, 'obj13'): 61.422000885009766,
(1, 0, 'obj14'): 75.99199676513672,
(1, 0, 'obj15'): 72.30999755859375,
(1, 0, 'obj16'): 63.79999923706055,
(1, 0, 'obj17'): 52.604000091552734,
(1, 0, 'obj18'): 61.02899932861328,
(1, 0, 'obj19'): 65.16999816894531,
(1, 0, 'obj20'): 71.26699829101562,
(1, 1000, 'obj11'): 59.92499923706055,
(1, 1000, 'obj12'): 49.4630012512207,
(1, 1000, 'obj13'): 60.25299835205078,
(1, 1000, 'obj14'): 77.15299987792969,
(1, 1000, 'obj15'): 73.43199920654297,
(1, 1000, 'obj16'): 62.207000732421875,
(1, 1000, 'obj17'): 49.805999755859375,
(1, 1000, 'obj18'): 60.459999084472656,
(1, 1000, 'obj19'): 65.0199966430664,
(1, 1000, 'obj20'): 71.9520034790039,
(1, 2000, 'obj11'): 58.72600173950195,
(1, 2000, 'obj12'): 45.98500061035156,
(1, 2000, 'obj13'): 58.21099853515625,
(1, 2000, 'obj14'): 78.35800170898438,
(1, 2000, 'obj15'): 75.06199645996094,
(1, 2000, 'obj16'): 59.23500061035156,
(1, 2000, 'obj17'): 46.32699966430664,
(1, 2000, 'obj18'): 57.902000427246094,
(1, 2000, 'obj19'): 65.1510009765625,
(1, 2000, 'obj20'): 72.99099731445312,
(1, 3000, 'obj11'): 57.47800064086914,
(1, 3000, 'obj12'): 42.904998779296875,
(1, 3000, 'obj13'): 55.89699935913086,
(1, 3000, 'obj14'): 79.41999816894531,
(1, 3000, 'obj15'): 76.78800201416016,
(1, 3000, 'obj16'): 55.53099822998047,
(1, 3000, 'obj17'): 42.67900085449219,
(1, 3000, 'obj18'): 55.277000427246094,
(1, 3000, 'obj19'): 65.21199798583984,
(1, 3000, 'obj20'): 74.27400207519531,
(1, 4000, 'obj11'): 56.189998626708984,
(1, 4000, 'obj12'): 41.14099884033203,
(1, 4000, 'obj13'): 54.09000015258789,
(1, 4000, 'obj14'): 80.78099822998047,
(1, 4000, 'obj15'): 78.38999938964844,
(1, 4000, 'obj16'): 57.492000579833984,
(1, 4000, 'obj17'): 40.400001525878906,
(1, 4000, 'obj18'): 53.159000396728516,
(1, 4000, 'obj19'): 63.72200012207031,
(1, 4000, 'obj20'): 75.40399932861328}}
)
df.index.names = ['k', 'group', 'object']
def cluster_group(x, index):
clustering = KMeans(n_clusters = 3, random_state = 42).fit(x.values)
return pd.Series(clustering.labels_, index = index)
df
如下:
df \
.groupby(['k', 'group']) \
.filter(lambda x: x.shape[0] > 3)['var'] \
.reset_index('object') \
.groupby(['k', 'group']) \
.apply(lambda x: cluster_group(x['var'], x['object']))
DataFrame
非常庞大,这个解决方案的工作速度非常慢。因此,我想问一下是否有办法以某种方式优化性能?
df.shape
是
(1286135, 9)
,但我需要为许多数据框计算这个,每个数据框都在这个大小左右。所以我需要确保代码尽可能优化。
最佳答案
您最初的解决方案还不错。
我尝试使用 pd.DataFrame.unstack()
方法走得快一点。
可能的解决方案:df = df.unstack()['var'].apply(lambda x: cluster_group(x, x.index), axis=1)
用上面的例子进行速度测试:
%timeit -n 10 test = df \
.groupby(['k', 'group']) \
.filter(lambda x: x.shape[0] > 3)['var'] \
.reset_index('object') \
.groupby(['k', 'group']) \
.apply(lambda x: cluster_group(x['var'], x['object']))
%timeit -n 10 test = df.unstack()['var'].apply(lambda x: cluster_group(x, x.index), axis=1)
关于python - 使用 groupby+apply 对每个组进行聚类 - 性能问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59706979/
给定输入: [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] 将数字按奇数或偶数分组,然后按小于或大于 5 分组。 预期输出: [[1, 3, 5], [2, 4], [6, 8, 10
编辑: @coldspeed、@wen-ben、@ALollz 指出了我在字符串 np.nan 中犯的新手错误。答案很好,所以我不删除这个问题来保留那些答案。 原文: 我读过这个问题/答案 What'
我试图概括我提出的问题 here . mlb 数据框看起来像 Player Position Salary Year 0 Mike Wit
我认为我不需要共享整个数据框,但基本上,这是有问题的代码行(当然,已经导入了 pandas) divstack = df[df['Competitor']=='Emma Slabach'].group
我面临下一个问题:我有组(按 ID),对于所有这些组,我需要应用以下代码:如果组内位置之间的距离在 3 米以内,则需要将它们添加在一起,因此将创建一个新组(代码如何创建我在下面显示的组)。现在,我想要
我有以下数据: ,dateTime,magnitude,occurrence,dateTime_s 1,2017-11-20 08:00:09.052260,12861,1,2017-11-20 08
我按感兴趣的列对 df 进行分组: grouped = df.groupby('columnA') 现在我只想保留至少有 5 名成员的组: grouped.filter(lambda x: len(x
数据是一个时间序列,许多成员 ID 与许多类别相关联: data_df = pd.DataFrame({'Date': ['2018-09-14 00:00:22',
选择 u.UM_TOKEN_NO 、u.UM_FULLNAME、u.SECTOR、u.department_name、t.TS_PROJECT_CODE、sum(t.TS_TOTAL_HRS) 来自
我有这两个表: +---------------+-------------+---------------------+----------+---------+ | items_ordered |
我正在使用 groupby 和 sum 快速汇总两个数据集 一个包含: sequence shares 1 100 2 200 3 50 1 2
这个问题在这里已经有了答案: list around groupby results in empty groups (3 个答案) itertools groupby object not out
我有一组行,我想按标识符的值进行分组 - 存在于每一行中 - 然后对将作为结果的组进行进一步的隔离处理。 我的数据框是这样的: In [50]: df Out[50]: groupkey b
假设您要在全局范围内销售产品,并且希望在某个主要城市的某个地方设立销售办事处。您的决定将完全基于销售数字。 这将是您的(简化的)销售数据: df={ 'Product':'Chair', 'Count
我有一个将数据分组两次的查询: var query = (from a in Context.SetA() from b in Context.SetB().Where(x => x.aId == a
我有一个这种格式的数据框: value identifier 2007-01-01 0.087085 55 2007-01-01 0.703249
这个问题在这里已经有了答案: python groupby behaviour? (3 个答案) 关闭 4 年前。 我有一个这样的列表 [u'201003', u'200403', u'200803
在 Python 中,我可以使用 itertools.groupby 将具有相同键的连续元素分组。 : >>> items = [(1, 2), (1, 5), (1, 3), (2, 9), (3,
无法翻译以下 GroupBy 查询并将引发错误:不支持客户端 GroupBy IEnumerable ids = new List { 1, 2, 3 }; var q = db.Comments.W
考虑一个 Spark DataFrame,其中只有很少的列。目标是对其执行 groupBy 操作,而不将其转换为 Pandas DataFrame。等效的 Pandas groupBy 代码如下所示:
我是一名优秀的程序员,十分优秀!