python - TCP 上的 Spark 流式传输

Question

我目前正在尝试通过 TCP 运行 Spark Streaming，但我经常收到“[Errno 111] 连接被拒绝”错误...

import socket
TCP_IP = 'localhost'
TCP_PORT = 40123
MESSAGE = "Test data Test data Test data"

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect((TCP_IP, TCP_PORT))
s.send(MESSAGE)
s.close()

Spark 部分

import time
from pyspark import SparkContext
from pyspark.streaming import StreamingContext

ssc = StreamingContext(sc,1)

lines = ssc.socketTextStream('localhost',40123)
counts = lines.flatMap(lambda line: line.split(" ")).map(lambda x: (x, 1)).reduceByKey(lambda a, b: a+b)
counts.pprint()

ssc.start()

Answer 1

socketTextStream 不能托管服务器，它只是一个客户端。你必须自己做一个服务器，然后 spark streaming 才能连接。