scala - 在 spark 中设置 textinputformat.record.delimiter

Question

在 Spark 中，可以设置一些 hadoop 配置设置，例如

System.setProperty("spark.hadoop.dfs.replication", "1")

这有效，复制因子设置为 1。假设是这种情况，我认为这种模式(在常规 hadoop 配置属性前加上“spark.hadoop.”)也适用于textinputformat.record.delimiter:

System.setProperty("spark.hadoop.textinputformat.record.delimiter", "\n\n")

不过spark好像直接忽略了这个设置。我是否以正确的方式设置了 textinputformat.record.delimiter？是否有更简单的方法来设置 textinputformat.record.delimiter。我想避免编写自己的 InputFormat，因为我实际上只需要获取由两个换行符分隔的记录。

Answer 1

我使用以下函数处理普通未压缩文件。

import org.apache.hadoop.io.LongWritable
import org.apache.hadoop.io.Text
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat

def nlFile(path: String) = {
    val conf = new Configuration
    conf.set("textinputformat.record.delimiter", "\n")
    sc.newAPIHadoopFile(path, classOf[TextInputFormat], classOf[LongWritable], classOf[Text], conf)
      .map(_._2.toString)
}