pyspark - 在pyspark中，如何在列中添加/合并字符串？

Question

我想将字符串添加到现有列。例如，df['col1']的值为'1', '2', '3'等，我想在'000'的左侧合并字符串col1，这样我就可以得到一列（新列或替换旧列都没有关系）为< cc>。

我以为我应该使用'0001', '0002', '0003'，但是由于pyspark dataframe是不可变的，因此它当然不起作用？

这应该是一个简单的任务，但是我没有在网上找到任何东西。希望有人能给我一些帮助！

谢谢！

Answer 1

from pyspark.sql.functions import concat, col, lit


df.select(concat(col("firstname"), lit(" "), col("lastname"))).show(5)
+------------------------------+
|concat(firstname,  , lastname)|
+------------------------------+
|                Emanuel Panton|
|              Eloisa Cayouette|
|                   Cathi Prins|
|             Mitchel Mozdzierz|
|               Angla Hartzheim|
+------------------------------+
only showing top 5 rows

http://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html#module-pyspark.sql.functions