gpt4 book ai didi

hadoop - 从Twitter流数据时如何解决水槽中的404错误?

转载 作者:行者123 更新时间:2023-12-02 20:35:52 25 4
gpt4 key购买 nike

我正在尝试使用水槽从Twitter API流式传输一些数据。该代码最初确实有效。但现在我收到404错误:

INFO twitter4j.TwitterStreamImpl: 404: The URI requested is invalid or the resource requested, such as a user, does not exist.

Unknown URL. See Twitter Streaming API documentation at http://dev.twitter.com/pages/streaming_api

以下是我的conf文件代码。
TwitterAgent.sources= Twitter
TwitterAgent.channels= MemChannel
TwitterAgent.sinks=HDFS
TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource
TwitterAgent.sources.Twitter.channels=MemChannel

TwitterAgent.sources.Twitter.consumerKey=<code>
TwitterAgent.sources.Twitter.consumerSecret= <code>
TwitterAgent.sources.Twitter.accessToken=<code>
TwitterAgent.sources.Twitter.accessTokenSecret= <code>

TwitterAgent.sources.Twitter.keywords= hadoop, bigdata

TwitterAgent.sinks.HDFS.channel=MemChannel
TwitterAgent.sinks.HDFS.type=hdfs
TwitterAgent.sinks.HDFS.hdfs.path=hdfs://localhost:8020/user/flume/tweets
TwitterAgent.sinks.HDFS.hdfs.fileType=DataStream
TwitterAgent.sinks.HDFS.hdfs.writeformat=Text
TwitterAgent.sinks.HDFS.hdfs.batchSize=1000
TwitterAgent.sinks.HDFS.hdfs.rollSize=0
TwitterAgent.sinks.HDFS.hdfs.rollCount=10000
TwitterAgent.sinks.HDFS.hdfs.rollInterval=600
TwitterAgent.channels.MemChannel.type=memory
TwitterAgent.channels.MemChannel.capacity=10000
TwitterAgent.channels.MemChannel.transactionCapacity=100

最佳答案

我只是手动同步了VMware和Windows系统的时间,问题就解决了。

关于hadoop - 从Twitter流数据时如何解决水槽中的404错误?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51136417/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com