hadoop - 将数据发送到HDFS中，但出现字符问题

Question

下面提到的是我的水槽配置。

a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = http
a1.sources.r1.port = 5140
a1.sources.r1.channels = c1
a1.sources.r1.handler = org.apache.flume.source.http.JSONHandler
a1.sources.r1.handler.nickname = random props

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

a1.sinks.k1.type = hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = hdfs://10.0.40.18:9160/flume-test
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute

flume日志文件中没有错误，但是使用hadoop命令读取文件时出现问题。

hadoop fs -cat hdfs://10.0.40.18:9160/flume-test/even1393415633931

flume log message is hdfs file created is "hdfs://10.0.40.18:9160/flume-test/even1393415633931"

任何帮助。

Answer 1

首先，尝试用记录器替换HDFS接收器，以查看输入是否正确到达。

确认之后，我建议尝试调整水槽的冲洗设置。 HDFS接收器在通过hdfs.batchSize(默认为100)刷新到HDFS之前对事件进行批处理。这可能是问题所在，因为您将需要在第一次刷新输出之前发送100个JSON帖子。

最后，您可能还想尝试调整hdfs.writeFormat，默认情况下将其设置为Writable而不是Text。