pyspark - 列(标题)子字符串在 pyspark 中替换

Question

我想通过替换子字符串来重命名列名。

在下面的示例中，我必须从每列中删除“xy”。
是否有任何预定义的函数或者我需要创建 UDF 吗？

xy.col1   xy.col2
      2         3
      3         5
      4         4
      5         8

Answer 1

您可以通过制作原始列名和清理过的列名的字典来做到这一点(这里我在点上拆分并在拆分后选择正确的字符)，这样做时还要注意反引号，因为列中有一个点“``

import pyspark.sql.functions as F

d = dict(zip(df.columns,[i.split('.')[-1] for i in df.columns]))
df.select(*[F.col(f"`{k}`").alias(v) for k,v in d.items()]).show()

+----+----+
|col1|col2|
+----+----+
|   2|   3|
|   3|   5|
|   4|   4|
|   5|   8|
+----+----+