hadoop - 如何用Spark尾部HDFS文件？

Question

我正在使用HDFS存储原始JSON行:

/user/ebuildy/logs/today.json

{"event":"buy", "tag1" : "20€", "tag2" : "user2"}
...

使用Elastic Logstash，webhdfs输出插件(意味着每X秒将JSON行添加到today.json中)。

另一方面，我正在使用Apache SparkSQL查询数据。加载数据的过程非常吸引人:

CREATE TABLE events USING org.apache.spark.sql.json OPTIONS (path "hdfs://hadoop:9000/user/ebuildy/logs/today.json")

而且我可以很容易地通过Tableau查询它(非常棒的家伙!)。

现在，我要尽力而为的是将传入数据附加到Spark(以及HDFS文件)中。

实现这一目标的最佳方法是什么？

Answer 1

这样做的方式是:您的表不过是由该load命令创建的RDD的包装(带有模式和好东西的包装)，该包装命令从HDFS读取数据并创建了RDD分区。

现在，RDD是不可变的。因此，附加新数据意味着(旧RDD +新数据)->新RDD。

您有多种选择，但这实际上取决于您的用例。如果您想与Tableau连接，那么您是否正在寻找创建一种ETL类型的工作负载，该工作负载每30分钟运行一次？如果是这样，您可能希望管理每次运行都从HDFS读取文件，并与现有RDD合并，创建新的RDD，然后将现有的RDD切换为新的RDD。