java - 如何使用直接流在 Kafka Spark Streaming 中指定消费者组

Question

如何使用直接流 API 为 kafka spark 流指定消费者组 ID。

HashMap<String, String> kafkaParams = new HashMap<String, String>();
kafkaParams.put("metadata.broker.list", brokers);
kafkaParams.put("auto.offset.reset", "largest");
kafkaParams.put("group.id", "app1");

    JavaPairInputDStream<String, String> messages = KafkaUtils.createDirectStream(
            jssc, 
            String.class, 
            String.class,
            StringDecoder.class, 
            StringDecoder.class, 
            kafkaParams, 
            topicsSet
    );

虽然我已经指定了配置但不确定是否遗漏了什么。使用 spark1.3

kafkaParams.put("group.id", "app1");

Answer 1

直接流 API 使用低级别的 Kafka API，因此无论如何都不使用消费者组。如果您想将消费者组与 Spark Streaming 一起使用，则必须使用基于接收器的 API。

Full details are available in the doc !