python - 与Pyspark合并

Question

我正在使用Pyspark，我有Spark 1.6。我想将一些值(value)观归纳在一起。

+--------+-----+
|  Item  |value|
+--------+-----+
|  A     |  187|
|  B     |  200|
|  C     |    3|
|  D     |   10|

我会将所有总值少于10％的项目归为一组(在这种情况下，C和D将归为新值“其他”)

所以，新表看起来像

+--------+-----+
|  Item  |value|
+--------+-----+
|  A     |  187|
|  B     |  200|
| Other  |   13|

有人知道某种功能或简单的方法吗？
非常感谢您的帮助

Answer 1

您可以对数据框进行两次过滤，以获取仅包含要保留的值的数据框，而仅包含其他值。对其他数据框执行汇总以将它们求和，然后将两个数据框合并回去。根据数据的不同，您可能希望在所有数据之前都保留原始数据帧，从而无需对其进行两次评估。