mysql - 从 HDFS 读取到 Spark

Question

我正在尝试将文件从 HDFS 读取到 Spark 中并对其执行一些数据处理。最初，我使用 Sqoop 将文件从 MySQL 数据库传输到 Spark。 SQL 数据库表具有三列 - movieid、title 和 genres。我想知道我应该如何格式化 sc.textFile 以正确提取文件。

运行 hdfs dfs -ls，我看到:

drwxr-xr-x  - hduser1 supergroup           0 2017-03-20 23:51 movies

运行 hdfs dfs -ls 电影，我看到:

-rw-r--r--  1 hduser1 supergroup           0 2017-03-20 23:51 movies/_SUCCESS
-rw-r--r--  1 hduser1 supergroup     1290474 2017-03-20 23:51 movies/part-m-0000

我想弄清楚的是以下函数中的内容:

case class Movie(movieid: String, title: String, genres: String)
val movieRdd: RDD[Movie] = sc.textFile(***WHAT GOES HERE***).map(-formatting-)

Answer 1

您可以按照以下格式进行编码:

sc.textFile(hdfs://NamenodeIPAddress:Port/DirectoryLocation)

example: sc.textFile(hdfs://127.0.0.1:8020/user/movies)

请根据您所在位置的名称节点 IP 地址和路径更改 IP 地址。

希望对您有所帮助!!!...