dataframe - pyspark 相当于 pandas groupby + apply on column-6ren

dataframe - pyspark 相当于 pandas groupby + apply on column

转载作者：行者123 更新时间：2023-12-04 02:01:11

29

4

我有一个 spark DataFrame，我想计算 groupby 之后变量的唯一值的数量。

在 Pandas 中，我可以通过以下方式获得它:df.groupby('UserName').apply(lambda x: x['Server'].nunique())
当 df 时如何获得相同的结果是pyspark 数据框吗？

最佳答案

您可以使用 countDistinct与 agg :

df.groupBy('UserName').agg(countDistinct('Server').alias('Server'))

关于dataframe - pyspark 相当于 pandas groupby + apply on column，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47183167/

29

4

0

文章推荐：组件上的 Angular 强制输入

文章推荐： vuejs2 - Vue JS每x秒触发一次方法/函数

java - 如何链接多个 RxJava 的 groupBy() 方法，例如 groupBy().groupBy()
给定输入: [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] 将数字按奇数或偶数分组，然后按小于或大于 5 分组。预期输出: [[1, 3, 5], [2, 4], [6, 8, 10
python - 当 as_index=False 时，groupby.first、groupby.nth、groupby.head 之间有什么不同
编辑: @coldspeed、@wen-ben、@ALollz 指出了我在字符串 np.nan 中犯的新手错误。答案很好，所以我不删除这个问题来保留那些答案。原文: 我读过这个问题/答案 What'
python - Pandas 数据帧 : How to groupby on a groupby?
我试图概括我提出的问题 here . mlb 数据框看起来像 Player Position Salary Year 0 Mike Wit
python - 是否可以对 groupby 的结果进行 groupby？
我认为我不需要共享整个数据框，但基本上，这是有问题的代码行(当然，已经导入了 pandas) divstack = df[df['Competitor']=='Emma Slabach'].group
python - 组内组的长度(在 groupby 之后应用 groupby)
我面临下一个问题:我有组(按 ID)，对于所有这些组，我需要应用以下代码:如果组内位置之间的距离在 3 米以内，则需要将它们添加在一起，因此将创建一个新组(代码如何创建我在下面显示的组)。现在，我想要
python - pandas 如何在 groupby 内进行 groupby
我有以下数据: ,dateTime,magnitude,occurrence,dateTime_s 1,2017-11-20 08:00:09.052260,12861,1,2017-11-20 08
python - 从另一个 GroupBy 对象创建一个 GroupBy 对象
我按感兴趣的列对 df 进行分组: grouped = df.groupby('columnA') 现在我只想保留至少有 5 名成员的组: grouped.filter(lambda x: len(x
python - 绘制 groupby pandas 的 groupby
数据是一个时间序列，许多成员 ID 与许多类别相关联: data_df = pd.DataFrame({'Date': ['2018-09-14 00:00:22',
mysql - 使用 groupby 子句从多个表检索数据显示 "not a groupby expression"
选择 u.UM_TOKEN_NO 、u.UM_FULLNAME、u.SECTOR、u.department_name、t.TS_PROJECT_CODE、sum(t.TS_TOTAL_HRS) 来自
mysql - SQL 在另一个 groupby 之上做一个 groupby
我有这两个表: +---------------+-------------+---------------------+----------+---------+ | items_ordered |
python - 串联 groupby 对象上的 Pandas groupby
我正在使用 groupby 和 sum 快速汇总两个数据集一个包含: sequence shares 1 100 2 200 3 50 1 2
python - 为什么将 groupby 转换为列表时 groupby 分组会发生变化？
这个问题在这里已经有了答案: list around groupby results in empty groups (3 个答案) itertools groupby object not out
python - 如何将前提条件应用于 GroupBy 或如何忽略 GroupBy 中具有一条记录的组
我有一组行，我想按标识符的值进行分组 - 存在于每一行中 - 然后对将作为结果的组进行进一步的隔离处理。我的数据框是这样的: In [50]: df Out[50]: groupkey b
python - 如何根据其他/上一个 groupby 的结果运行 groupby？
假设您要在全局范围内销售产品，并且希望在某个主要城市的某个地方设立销售办事处。您的决定将完全基于销售数字。这将是您的(简化的)销售数据: df={ 'Product':'Chair', 'Count
c# - groupby 内部 groupby 和 All() 性能
我有一个将数据分组两次的查询: var query = (from a in Context.SetA() from b in Context.SetB().Where(x => x.aId == a
python - 具有重复索引的数据帧上的 groupby 或平均值的 groupby 的平均值
我有一个这种格式的数据框: value identifier 2007-01-01 0.087085 55 2007-01-01 0.703249
python - dict(groupby) 和 groupby 之间的区别
这个问题在这里已经有了答案: python groupby behaviour? (3 个答案) 关闭 4 年前。我有一个这样的列表 [u'201003', u'200403', u'200803
scala - Groupby 类似于 Python 的 itertools.groupby
在 Python 中，我可以使用 itertools.groupby 将具有相同键的连续元素分组。 : >>> items = [(1, 2), (1, 5), (1, 3), (2, 9), (3,
c# - EFCore 3 GroupBy+ToDictionary 引发不支持客户端 GroupBy
无法翻译以下 GroupBy 查询并将引发错误:不支持客户端 GroupBy IEnumerable ids = new List { 1, 2, 3 }; var q = db.Comments.W
pandas - 从 Pandas groupBy 到 PySpark groupBy
考虑一个 Spark DataFrame，其中只有很少的列。目标是对其执行 groupBy 操作，而不将其转换为 Pandas DataFrame。等效的 Pandas groupBy 代码如下所示:

首页

博学

6Ren·AI

商城

dataframe - pyspark 相当于 pandas groupby + apply on column