sum - 当 sum() 一列时，我收到此错误 AttributeError : 'DataFrame' object has no attribute 'sum'

Question

我有一个像这样的数据框:

+-----+--------+
|count| country|
+-----+--------+
|   12| Ireland|
|    5|Thailand|
+-----+--------+

当我添加 sum() 函数来获取第一列“count”的总计时，我收到此错误:

 AttributeError: 'DataFrame' object has no attribute 'sum'

我确实导入了from pyspark.sql.functions import sum

我该如何求和或者我遗漏了什么？

谢谢您并感谢您的帮助。

Answer 1

>>> from pyspark.sql.functions import sum
>>> a = [(12,"Ireland"),(5,"Thailand")]
>>> df = spark.createDataFrame(a,["count","country"])
>>> df.show()
+-----+--------+
|count| country|
+-----+--------+
|   12| Ireland|
|    5|Thailand|
+-----+--------+

如您所见here :

groupBy(): Groups the DataFrame using the specified columns, so we can run aggregation on them. See GroupedData for all the available aggregate functions.

在 GroupedData您可以在 DataFrame 上找到一组聚合方法，例如 sum()、avg() 、mean()。

因此，在应用这些函数之前，您必须对数据进行分组。

>>> total = df.groupBy().sum()
>>> total.show()
+----------+
|sum(count)|
+----------+
|        17|
+----------+

参见here例如 sum()