apache-spark - Spark 解码和解压 gzip 嵌入的 base 64 字符串

Question

我的 Spark 程序读取一个包含编码为 64 的 gzip 压缩字符串的文件。我必须解码和解压缩。
我使用 spark unbase64 解码并生成字节数组

bytedf=df.withColumn("unbase",unbase64(col("value")) )

spark中是否有任何可以解压缩字节码的spark方法？

Answer 1

我写了一个udf

def decompress(ip):

    bytecode = base64.b64decode(x)
    d = zlib.decompressobj(32 + zlib.MAX_WBITS)
    decompressed_data = d.decompress(bytecode )
    return(decompressed_data.decode('utf-8'))



decompress = udf(decompress)
decompressedDF = df.withColumn("decompressed_XML",decompress("value"))