gpt4 book ai didi

hadoop - 增加 Flume 管道创建的文件大小到 Hadoop

转载 作者:可可西里 更新时间:2023-11-01 16:26:42 26 4
gpt4 key购买 nike

我有一个 Flume 的配置文件,如下所示:

TwitterAgent.sources = Twitter
TwitterAgent.channels = MemChannel
TwitterAgent.sinks = HDFS

TwitterAgent.sources.Twitter.type =
TwitterAgent.sources.Twitter.channels = MemChannel

TwitterAgent.sources.Twitter.consumerKey =
TwitterAgent.sources.Twitter.consumerSecret =
TwitterAgent.sources.Twitter.accessToken =
TwitterAgent.sources.Twitter.accessTokenSecret =

TwitterAgent.sources.Twitter.keywords =

TwitterAgent.sinks.HDFS.channel = MemChannel
TwitterAgent.sinks.HDFS.type = hdfs
TwitterAgent.sinks.HDFS.hdfs.path =
TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream
TwitterAgent.sinks.HDFS.hdfs.writeFormat = Text
TwitterAgent.sinks.HDFS.hdfs.batchSize = 10000
TwitterAgent.sinks.HDFS.hdfs.rollSize = 0
TwitterAgent.sinks.HDFS.hdfs.rollCount = 10000

TwitterAgent.channels.MemChannel.type = memory
TwitterAgent.channels.MemChannel.capacity = 10000
TwitterAgent.channels.MemChannel.transactionCapacity = 10000

我省略了私有(private)字段。这是将推文下载到 Apache Hadoop 中。但是,在创建另一个推文文件之前,每个推文文件仅达到大约 30 - 60 Kb。我怎样才能创建更大的文件,这样我就不会得到过多的小文本文件,而是只有几个大文件(例如,每个文件中有 10000 条推文)?

我以为将 rollCount 设置为 10000 就可以了,但似乎不行。

最佳答案

我通过将 rollCount 更改为 0,将 transactionCapactity 更改为 1000(以使其小于容量)并将 batchSize 保留为 10000 来解决此问题。我认为这是可行的,因为现在它正在写入大量数据每个文件(准确地说是 64MB)。

关于hadoop - 增加 Flume 管道创建的文件大小到 Hadoop,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/18049622/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com