apache-spark - 带有点 '.' 的数据框的 pyspark 访问列

Question

除非首先由 groupby 重命名，否则包含点(例如“id.orig_h”)的 pyspark 数据帧将不允许 withColumnRenamed 。有解决方法吗？ "`a.b`" 似乎没有解决它。

Answer 1

在我的 pyspark shell 中，以下代码段有效:

from pyspark.sql.functions import *
myCol = col("`id.orig_h`")    
result = df.groupBy(myCol).agg(...)

和

myCol = df["`id.orig_h`"]   
result = df.groupBy(myCol).agg(...)

我希望它有帮助。