java - 无法使用 Java Spark API 解析文件

Question

我有一个包含这样条目的日志文件

10.28 INFO  [EFKLogger] - POGUpdateTenestenerServiceImpl: Entering listener with object 624866045533

现在使用 Spark，我想计算每小时命中的队列数量。队列是 POGUpdateTenestenerServiceImpl 。现在我想要一个仅包含时间和队列的 JAVARDD，以便我可以对其执行操作。我是新的顶级 Spark ，只找到了用所有单词或整行创建 RDD 的方法。我只想一行中的两个字。我怎样才能实现这个目标

Answer 1

您应该使用 SparkContext 的 textFile 函数来读取文件:

这是一个Scala示例，它可以轻松翻译为java

val text = sc.textFile("data.csv") //Read the file
val words = text.map(line=> line.split(" ")) //Break the line to words

现在，words 是一个单词数组，您可以利用第一秒对它们做任何您想做的事情。