hadoop - Flume - 使用 Avro Source 和 Sink 对数据流进行分层

Question

关闭。这个问题是not reproducible or was caused by typos .它目前不接受答案。












想改进这个问题？将问题更新为 on-topic对于堆栈溢出。

4年前关闭。




Improve this question




我正在尝试在不同机器上的两个代理之间使用 Avro 源/接收器设置一个简单的分层数据流。

vm-host-01 节点上的第一个代理(称为“代理”)具有 netcat来源，一个 memory channel 和 avro下沉。

vm-host-02 节点上的第二个代理(称为“收集器”)具有 avro 源、memory channel 和 hdfs 接收器。

这是第一个代理“代理”的配置。

agent.sources=s1
agent.channels=c1
agent.sinks=k1

agent.sources.s1.type=netcat
agent.sources.s1.channels=c1
agent.sources.s1.bind=vm-host-01
agent.sources.s1.port=12345

agent.channels.c1.type=memory

agent.sinks.k1.type=avro
agent.sinks.k1.channel=c1
agent.sinks.k1.hostname=vm-host-02
agent.sinks.k1.port=42424

这是第二台机器上第二个代理“收集器”的配置:

collector.sources=av1
collector.channels=c1
collector.sinks=k1

collector.sources.av1.type=avro
collector.sources.av1.bind=vm-host-02
collector.sources.av1.port=42424
collector.sources.av1.channels=c1

collector.channels.c1.type=memory

collecor.sinks.k1.type=hdfs
collecor.sinks.k1.hdfs.path=/user/root/flume/mydata
collecor.sinks.k1.hdfs.fileType=DataStream
collecor.sinks.k1.hdfs.writeType=text
collecor.sinks.k1.hdfs.filePrefix=Hello
collecor.sinks.k1.hdfs.fileSuffix=.txt
collecor.sinks.k1.channel=c1

现在，当我 telnet 到第一个主机 (vm-host-01) 并输入一些字符串时，第一个代理的命令提示符甚至都没有改变。 (第二台主机的命令提示符也没有)。

如果我编辑“代理”的配置并将其接收器更改为 hdfs ，我可以telnet进去，输入一个字符串，看到命令提示符acknolwedge这个，它被写入HDFS。

只是添加 avro sink 似乎会禁用它的 netcat源来自接受输入。

Answer 1

糟糕，我将“collector”拼错为“collector”。