python - 使用特殊字符映射 Spark 数据帧列

Question

执行 df.printSchema() 后，我有以下架构

root
 |-- key:col1: string (nullable = true)
 |-- key:col2: string (nullable = true)
 |-- col3: string (nullable = true)
 |-- col4: string (nullable = true)
 |-- col5: string (nullable = true)

我需要使用列名称访问键:col2，但由于名称中的 :，以下行给出了错误

df.map(lambda row:row.key:col2)

我已经尝试过

df.map(lambda row:row["key:col2"])

我可以使用以下方法轻松获取 col3、col4 和 col5 的值

df.map(lambda row:row.col4).take(10)

Answer 1

我认为你可以使用getattr:

df.map(lambda row: getattr(row, 'key:col2'))

我不是 pyspark 方面的专家，所以我不知道这是否是最佳方式:-)。

您也许还可以使用operator.attrgetter:

from operator import attrgetter
df.map(attrgetter('key:col2'))

IIRC，在某些情况下它的性能略优于lambda。在这种情况下，这可能比平常更明显，因为它可以避免全局 getattr 名称查找，在这种情况下，我认为它看起来也更好一些。