java - Kafka 连接 API 客户端

Question

尝试将数据从 kafka 写入 hdfs。在任何地方都没有记录如何使用 Confluent 的 kafka-connect-hdfs Java API。

Answer 1

您不需要使用 Java API。 KafkaConnect 可以从命令行或 REST API 使用...即使您从 Java 触发连接器，the REST API仍然有效。

一些帮助您入门的文档:

首先，KafkaConnect 快速入门，只是为了在尝试执行高级操作之前确保您的系统处于良好状态: http://docs.confluent.io/3.0.0/connect/intro.html#quickstart

如果您是 Kafka 的新手，甚至可以更早地开始使用 Kafka 快速入门: https://kafka.apache.org/quickstart

一旦单机工作更多，尝试切换到分布式模式并查看 the REST API

然后试试 HDFS 连接器。从快速入门开始: http://docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart

或者博客教程: http://www.confluent.io/blog/how-to-build-a-scalable-etl-pipeline-with-kafka-connect

希望这对您有所帮助。