python - Pyspark 数据框 : Summing over a column while grouping over another-6ren

python - Pyspark 数据框 : Summing over a column while grouping over another

转载作者：行者123 更新时间：2023-11-28 20:41:12

25

4

我有一个如下所示的数据框

In [94]: prova_df.show()


order_item_order_id order_item_subtotal
1                   299.98             
2                   199.99             
2                   250.0              
2                   129.99             
4                   49.98              
4                   299.95             
4                   150.0              
4                   199.92             
5                   299.98             
5                   299.95             
5                   99.96              
5                   299.98

我想做的是为第一列的每个不同值计算第二列相应值的总和。我尝试使用以下代码执行此操作:

from pyspark.sql import functions as func
prova_df.groupBy("order_item_order_id").agg(func.sum("order_item_subtotal")).show()

给出输出

SUM('order_item_subtotal)
129.99000549316406       
579.9500122070312        
199.9499969482422        
634.819995880127         
434.91000747680664

我不太确定这样做是否正确。为什么它不显示第一列中的信息？预先感谢您的回答

最佳答案

Why isn't it showing also the information from the first column?

很可能是因为您使用的是过时的 Spark 1.3.x。如果是这种情况，您必须重复 agg 中的列分组，如下所示:

(df
    .groupBy("order_item_order_id")
    .agg(func.col("order_item_order_id"), func.sum("order_item_subtotal"))
    .show())

关于python - Pyspark 数据框 : Summing over a column while grouping over another，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/33961899/

25

4

0

文章推荐： Python 列表类型

文章推荐： Python - 在三个列表中查找相同的元素(忽略空列表)

文章推荐： python - 如何在 Python 中比较字符串和整数？

文章推荐： python - 为什么 urllib.urlencode 将 "25"附加到结果？

Column headers not rendering as expected after refactoring (重构后列标题未按预期呈现)
这正确地呈现了标题，因为我可以看到一个列带有“Product ID”标题的表：。我正试图重构它，这样我就可以重用它，因为它们在整个应用程序中几乎是相同的：。在这种情况下，头不会呈现...检查页面元素中
python - 避免在执行 df ['column' ] = df ['column' ] 时写两次 df ['column' ]
我什至不知道如何表达这一点，但在 Python 中有没有一种方法可以引用等号之前的文本，而无需实际再次编写？ ** 编辑 - 我在 Jupyter 中使用 python3 我似乎用了半辈子的时间来写作
python : group by columns with columns values that are grouped by occurs only once and retain all other columns
假设我有一个包含以下列的字典 dict_ = [ {'key1': 'value1', 'key2': 'value2', 'key3': 'value3', '
python : group by columns with columns values that are grouped by occurs only once and retain all other columns
假设我有一个包含以下列的字典 dict_ = [ {'key1': 'value1', 'key2': 'value2', 'key3': 'value3', '
MySql 当 table.column = table.column 时选择 table.column
假设我的数据库中有一张地铁 map ，其中每条线路的每个站点都是一行。如果我想知道我的线路在哪里互连: mysql> SELECT LineA.stop_id FROM LineA, LineB WH
hadoop - hive QL : split column into 2 columns and rank each column
代码 select c1,c2,c3,c4,c5,c6 from table where c5 in ('a', 'b') 从这里开始，我想将 c5 列拆分为两列，然后根据它们对 c
MySQL : search two columns : one column first then second column
我正在尝试搜索表格中的两列，即标题和描述。但我想先搜索标题，然后再搜索描述。所以匹配标题的所有行排在第一位，所有匹配描述的行排在第二位我可以使用单个 SQL 查询来实现吗？最佳答案您还可以使用
Python数据框: Create New Column Based on Values in a String Column and a Float Column
下面有以下 Python 数据框。 “标志”字段是我想要用代码创建的所需列。我想要执行以下操作: 如果“分配类型”是预测的并且“Activities_Counter”大于 10，我想创建一个名为“F
mysql - 为什么 `WHERE column` 给出的结果与 `WHERE column IS NOT NULL AND column <> ' '` 不同？
我有两列，area 和 block，其中 area 是一个 int 类型，block 是一个 varchar。现在我正在写两个查询: select * from table where area a
mysql - Slick 2 将 (Column[A], Column[B]) 转换为 Column[(A,B)]
使用 Slick 2，我试图生成一个带有元组 IN 子句的查询: select * from my_table where (a, b) IN ((1, 87)); 给定: val seq: Seq[
php - Mysql Where Column A = X and Column B = Y and or Column B = Z
我正在尝试从数据透视表中获取一组值，其中 A 列等于值数组，例如 ID 12 的 attribute_value_id 等于 3 和 9。这可以做到吗？我已经走了这么远... ID | post_id
Python-数据帧 : Multiply multiple columns by another column and save in new columns
我找不到这样做的有效方法。我在 Python 中有以下 DataFrame，列从 A 到 Z A B C ... Z 0 2.0 8.0 1.0 ... 5.0 1
python Pandas : Merge Columns of Data Frame with column name into one column
我的数据框中有以下格式的数据: >>> df = pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD')) >>> df
mysql - 如果 'table a' .'column b' 匹配 'table b' .'column b'，如何将 'table a' .'column b' 替换为 'table b' .'column a'
我有多个与我公司销售的产品相关的表被新产品取代，随着时间的推移，这导致了多个表的出现。我一遍又一遍地使用以下查询，直到最终表中只剩下 2 个产品... CREATE TABLE mar15a
mysql - 如何用 'table a' .'column b' 替换 'table b' .'column b' 如果 'table a' .'column a' 匹配 'table b' .'column a'
我有如下 2 个表:- 表A ------------------------------- | product_id | price | --------------------
mysql - 一个表中的 COLUMN NAME 和 COLUMN COMMENT 以及另一个表中的 COLUMN VALUE。如何？
我有一个名为 tbl_mainsheet7 的表，创建方式如下: pk_mainsheet client_id project_id mainsheet_id project_cat EA_
html - CSS 问题 : Fixed column + Auto column with a nested Auto column inside
我得到了以下 HTML 结构: ... ... 我的 CSS: #main-container { width:80%; margin:20px auto;
r - R : Replace a column value with a value from same column after matching two other columns values 中的数据表
对于我的以下要求，我无法获得解决方案。如果 data.table(如下)在 Col1 和 Col3 中有匹配的值。替换 Col2 值(旧的 New-Val)。 Col1 Col2 Col3
c# - SQL : Select Distinct rows by all columns but omit one column (say ID column)
我正在通过连接几个表来构建一个 View ，以通过 Entity Framework 提取数据。由于此 View 没有唯一列，EntityFramework 无法检索正确的结果集(即第一列重复)。为
python - Pandas 中的数据操作 : create a boolean column from values on column then fill with value from yet another column
好的，我已经尝试了太久了，是时候寻求帮助了。我有一个看起来有点像这样的数据框: person fruit quantity all_fruits 0 p1 grapes 2

首页

博学

6Ren·AI

商城

python - Pyspark 数据框 : Summing over a column while grouping over another