apache-spark - 使用 spark dataFrame 从 HDFS 加载数据

Question

我们可以在从 HDFS 读取数据时使用 DataFrame 吗？
我在 HDFS 中有一个制表符分隔的数据。

我用谷歌搜索，但看到它可以与 NoSQL 数据一起使用

Answer 1

DataFrame 当然不限于 NoSQL 数据源。 Parquet、ORC 和 JSON 支持在 1.4 到 1.6.1 中原生提供；使用 spark-cvs 包支持文本分隔文件。

如果您的 tsv 文件位于/demo/data 的 HDFS 中，则以下代码会将文件读入 DataFrame

sqlContext.read.
  format("com.databricks.spark.csv").
  option("delimiter","\t").
  option("header","true").
  load("hdfs:///demo/data/tsvtest.tsv").show

要从 spark-shell 运行代码，请使用以下命令:

--packages com.databricks:spark-csv_2.10:1.4.0

在 Spark 2.0 中，原生支持 csv，因此您应该能够执行以下操作:

spark.read.
  option("delimiter","\t").
  option("header","true").
  csv("hdfs:///demo/data/tsvtest.tsv").show