apache-spark - 如何让 Spark Streaming (Spark 1.0.0) 从 Kafka (Kafka Broker 0.8.1) 读取最新数据

Question

我的 Spark 流应用程序从 Kafka 获取数据并对其进行处理。

在应用程序失败的情况下，大量数据存储在 Kafka 中，并且在 Spark Streaming 应用程序下次启动时，它会因为一次消耗太多数据而崩溃。
由于我的应用程序不关心过去的数据，因此只使用当前(最新)数据完全没问题。

我找到了 "auto.reset.offest"选项，它在 Spark 中的行为几乎没有什么不同。
如果已配置，它会删除存储在 zookeeper 中的偏移量。
然而，尽管它的行为出乎意料，但它应该在删除后从最新的数据中获取数据。

但我发现不是。
我看到在使用数据之前所有的偏移量都被清除了。
然后，由于默认行为，它应该按预期获取数据。
但是由于数据太多，它仍然崩溃。

当我使用“Kafka-Console-Consumer”清理偏移量并使用最新的数据时，
并运行我的应用程序，它按预期工作。

所以它看起来“auto.reset.offset”不起作用，并且 Spark 流中的kafka消费者默认从“最小”偏移量获取数据。

您对如何使用最新的 Spark 流中的 Kafka 数据有任何想法吗？

我正在使用 spark-1.0.0 和 Kafka-2.10-0.8.1。

提前致谢。

Answer 1

我认为您拼错了属性名称。正确的 key 是 auto.offset.reset 而不是 auto.reset.offest

更多信息在这里:http://kafka.apache.org/documentation.html#configuration

希望这可以帮助。