python - PySpark添加一列，其名称基于值

Question

This question already has answers here:

How to pivot Spark DataFrame?
                                
                                    （9个答案）
                                
                        
                                4天前关闭。
            
                    
我在PySpark中有这样的表t1

>>> t1.show()
+---+-----+
| id|value|
+---+-----+
| 10| 11.0|
| 20| 21.0|
+---+-----+

我想基于如下所示的ID分组添加新列：

>>> t2.show()
+---+-----+--------+--------+
| id|value|10_value|20_value|
+---+-----+--------+--------+
| 10| 11.0|    11.0|    null|
| 20| 21.0|    null|    21.0|
+---+-----+--------+--------+

应该动态生成10_和20_前缀。
有没有一种实用的方法来按ID分组并为每个组ID添加一列？
我想为每个ID添加一个新列，作为“ $ id_value”

最佳答案

您想要的是pivot。只需添加连接id列和文字"_value"的新列，然后旋转：

df.withColumn("id_value", concat(col("id"), lit("_value")))\
  .groupBy("id", "value")\
  .pivot("id_value").agg(first("value"))\
  .show()

#+---+-----+--------+--------+
#| id|value|10_value|20_value|
#+---+-----+--------+--------+
#| 10| 11.0|    11.0|    null|
#| 20| 21.0|    null|    21.0|
#+---+-----+--------+--------+

关于python - PySpark添加一列，其名称基于值，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/60258709/

上一篇：python - Numpy:计算具有不定数量变量的函数输出矩阵的优雅解决方案

下一篇：python - 根据python中的条件更新多个列值

Answer 1

您想要的是pivot。只需添加连接id列和文字"_value"的新列，然后旋转：

df.withColumn("id_value", concat(col("id"), lit("_value")))\
  .groupBy("id", "value")\
  .pivot("id_value").agg(first("value"))\
  .show()

#+---+-----+--------+--------+
#| id|value|10_value|20_value|
#+---+-----+--------+--------+
#| 10| 11.0|    11.0|    null|
#| 20| 21.0|    null|    21.0|
#+---+-----+--------+--------+