apache-spark - 使用 PySpark 屏蔽信用卡号

Question

我是 Spark 的新手，我需要屏蔽 Spark 数据框中的信用卡号，其中仅显示最后四位数字。怎么做 ？
下面是我的表

    +----------+------------+
    |first_name|        card|
    +----------+------------+
    |       abc|999999999999|
    |       lmn|222222222222|
    +----------+------------+

预期输出:

    +----------+------------+
    |first_name|        card|
    +----------+------------+
    |       abc|********9999|
    |       lmn|********2222|
    +----------+------------+

Answer 1

在 pyspark 中，您还可以使用 substring 函数

from pyspark.sql.types import *
tst= sqlContext.createDataFrame([("name1",9999999999),("name2",2222222222)],schema=['name','number'])
# This is assuming your card number is not a string. If not skip this cast
tst_cast = tst.withColumn("number_string",F.col('number').cast(StringType()))
tst_mask = tst_cast.withColumn("masked_number",F.concat(F.lit('******'),F.substring(F.col("number_string"),6,4)))