python - pyspark解析固定宽度的文本文件

Question

正在尝试解析一个固定宽度的文本文件。

我的文本文件如下所示，我需要一个行 ID、日期、一个字符串和一个整数:

00101292017you1234
00201302017 me5678

我可以使用 sc.textFile(path) 将文本文件读取到 RDD。我可以使用已解析的 RDD 和架构来创建 DataFrame。这是这两个步骤之间的解析。

Answer 1

Spark 的 substr函数可以处理固定宽度的列，例如:

df = spark.read.text("/tmp/sample.txt")
df.select(
    df.value.substr(1,3).alias('id'),
    df.value.substr(4,8).alias('date'),
    df.value.substr(12,3).alias('string'),
    df.value.substr(15,4).cast('integer').alias('integer')
).show()

将导致:

+---+--------+------+-------+
| id|    date|string|integer|
+---+--------+------+-------+
|001|01292017|   you|   1234|
|002|01302017|    me|   5678|
+---+--------+------+-------+

拆分列后，您可以重新格式化并像在普通 spark 数据框中一样使用它们。