python - 在 Pyspark 中使用 Hadoop InputFormat

Question

我正在为 Spark 开发一个文件解析器，它基本上可以一次读取 n 行，并将所有这些行作为数据帧中的一行放置。
我知道我需要使用 InputFormat 来尝试指定这一点，但我在 Python 中找不到对此的良好指南。
是否有在 Python 中指定自定义 InputFormat 的方法，或者我需要将其创建为 scala 文件，然后在 spark-submit 中指定 jar？

Answer 1

您可以直接将InputFormats与Pyspark一起使用。

引自documentation ,

PySpark can also read any Hadoop InputFormat or write any Hadoop OutputFormat, for both ‘new’ and ‘old’ Hadoop MapReduce APIs.

将 HadoopInputFormat 类传递给 pyspark.SparkContext 的任何适合的方法，

• hadoopFile()
• hadoopRDD()
• newAPIHadoopFile()
• newAPIHadoopRDD()

要读取 n 行，org.apache.hadoop.mapreduce.lib.NLineInputFormat 可以用作具有 newAPI 方法的 HadoopInputFormat 类。