java - 如何在java中使用apache SPARK分割和过滤字符串

Question

我一直在关注几个教程，但我无法理解这个想法(无法在我的示例中应用 map 分割过滤器的原理)假设我有一个字符串“客户1，购买:订单5”我想计算不同字符串中购买单词的数量以及我的流中客户购买的商品的数量

            JavaDStream<String> words = lines.flatMap(x -> Arrays.asList(x.split(",")).iterator()).filter(x -> Arrays.asList(conteneur).contains(x));
        // compte le nombre d'ads accepté et le nombre d'add refusées
        JavaPairDStream<String,Integer> nbr = words.mapToPair(x -> new Tuple2<>(x,1)).reduceByKey((a,b) -> a+b);
       nbr.map((Function<Tuple2<String, Integer>, String>) tuple -> {

            return   String.valueOf(tuple._2) +","+tuple._1 ;}).print();

在下面的代码中，我计算了字符串流中的买入和卖出数量，例如“customer1，buy”

如果有人可以向我解释，我会很高兴

Answer 1

如果您的所有输入行都是“customer1,buy:order5”类型，那么您可以像这样编写代码:

int buy = sparkContext.textFile("sample-data.txt").map(s -> (s.split("buy").length - 1))
            .reduce((s1, s2) -> s1 + s2).intValue();
    System.out.println(buy);