hadoop - Flume 将数据加载到本地文件系统

Question

我在linux中使用hadoop 2.2。谁能告诉我如何在flume中使用fileroll。我知道fileroll将数据发送到本地文件系统。谁能告诉我怎么做？？？

提前致谢..

Answer 1

为了使用文件roll sink，只需要在flume配置文件中配置sink即可。此配置文件示例将从位于目录 /logs/source 中的假脱机目录源中获取数据，通过内存 channel 将其发送到目录 /logs/sink 中的文件滚动接收器.

您应该在水槽用户指南 here 中查看其他配置选项

# Define a memory channel called ch1 on agent1
agent1.channels.ch1.type = memory

agent1.sources.spool.type = spooldir
agent1.sources.spool.channels = ch1
agent1.sources.spool.spoolDir = /logs/source
agent1.sources.spool.fileHeader = true

agent1.sinks.fr1.type = file_roll
agent1.sinks.fr1.channel = ch1
agent1.sinks.fr1.sink.directory = /logs/sink

agent1.channels = ch1
agent1.sources = spool
agent1.sinks = fr1