pyspark - 如何在pyspark中使用split

Question

我需要根据“.”拆分 sd_phonenumber，我需要两列:

sd_phone|          phone|sd_phonenumber|
+--------+---------------+--------------+
|       1| 44 7723 466844| 44.7723466844|
|        |   646-821-1444|    6468211444|
|        |   405-455-5941|    4054555941|
|       1|886-4-2359-5958| 88.6423595958|
|       1|+1 973-340-9100|  1.9733409100|
|        |   046-23 45 50|          null|
|        |   559-374-2385|    5593742385|
|        |  +507 395 3560|    5073953560|
|        |   650-727-4950|    6507274950|

例如:44.7723466844

col1    col2  
44     7723466844 

到目前为止尝试过:

 df_phone_cc=df_phone.with column("sd_phone", split(col("sd_phonenumber"), ".").getItem(0))
 df_phone_cc=df_phone.withColumn("sd_phone" ,split_col.getItem(1))

我对整个 sd_phone 列都为空。有人可以帮帮我吗？

Answer 1

因为你在第一次.withColumn()sd_phone列时已经得到了item 0，如果你想分别创建col1和col2，你应该存储首先是你的数组列，即:

df_phone_cc = df_phone.withColumn("new_col", split(col("sd_phonenumber"), "."))
df_phone_cc = df_phone_cc.withColumn("col1", col("new_col").getItem(0))
df_phone_cc = df_phone_cc.withColumn("col2", col("new_col").getItem(1))