sockets - 加入流Apache Spark

Question

我正在使用通过TCP连接器接收数据的Apache Spark流。
我有一个连接到传感器的python应用程序，并创建一个TCP服务器，该服务器等待来自Apache Spark的连接，然后通过此套接字发送json数据。

如何管理许多独立的传感器源，以将数据发送到Apache Spark上的同一接收器？

Answer 1

似乎您需要面向消息的中间件(MOM)或kafka集群来处理实时数据馈送。您的消息生产者可以发送到kafka主题，Spark流可以从该kafka主题接收。这样，您就可以使生产者和接收者脱钩。 Kafka可以线性扩展，并与带有反压的Spark Streaming Kafka-Direct Stream方法结合使用，可以为您提供良好的故障转移弹性。
如果选择另一个MOM，则可以使用基于 Spark 接收器的方法并合并多个流以进行扩展