websocket - 是否可以将 websocket 消息发送到 kafka 主题？

Question

我试图找到一种方法来使用由 websocket 发送到 kafka 主题的消息(消息由 websocket 发送到地址“ws://address:port/topic_name”，我想添加所有这些到 kafka 主题的消息)。
我阅读了 kafka connect 并试图找到一种方法来使用它，但它似乎不起作用......
提前致谢 :)

Answer 1

Confluent Platform 中没有到套接字的 Kafka 连接器。

我在一个生产中使用Kafka的团队，我们的源是一个socket，所以你的选择是使用支持这个socket的平台->Kafka生产，或者自己写一个。

关于可能的平台，我认为它们中的大多数都会矫枉过正，尽管您可以将它们用于此问题，一些选项是:
1. NiFi或 MiniFi对于较小的负载，使用 PublishKafka Processor
2. StreamSets与 Kafka Producer Destination
3. Apache Flume - 不是很推荐，这个项目正在停止发展。

如果您想编写自己的生产者，您基本上必须在此端口上创建一个监听器，并将传入的消息生成到 Kafka；如果这是一个网络套接字，只需获取请求的有效负载并将它们生成到 Kafka。
可以从 tutorialspoint simple producer example 复制示例 Kafka 生产者代码*

以下是一些开源项目示例:
1. https://github.com/DataReply/kafka-connect-socket-source
2. https://github.com/kafka-socket/miniature_engine
3. https://github.com/dhanuka84/kafka-connect-tcp
4. https://github.com/krux/tcp-stream-kafka-producer