java - Spark流程序无法连接到接收器org.apache.SparkException : java. io.Exception:连接到localhost时出错:9999

Question

我是这个主题的新手，我使用基于推送的方法并且它有效，但不知何故使用基于拉的方法它会引发接收器连接错误。也许我可能会错过一些东西。

Flume配置详情如下

sink.type=org.apache.spark.streaming.flume.sink.SparkSink
sink.channel=memory
sink.hostname=localhost
sink.port=9999

建立连接的 Spark 程序片段如下

 SparkConf conf = new SparkConf().setAppName("FlumeSparkIntegration");

            JavaSparkContext jsc = new JavaSparkContext(conf);

            JavaStreamingContext jstc = new JavaStreamingContext(jsc, new Duration(10*1000));
            JavaReceiverInputDStream<SparkFlumeEvent> fStream = FlumeUtils.createPollingStream(jstc, "localhost",9999);

Flume 的类路径还具有自定义 Flume Sink jar 和 scala lang jar。

有人可以提供见解吗？

Answer 1

仅供记录:

如果您指定

sink.hostname=localhost

这将指示 Flume 绑定(bind)到本地主机。如果您想避免这种情况，则需要指定外部设备的 IP 地址；如果您想绑定(bind)到所有设备，则需要指定 0.0.0.0。