java - 在生产环境中运行时 Storm 拓扑失败-6ren

java - 在生产环境中运行时 Storm 拓扑失败

转载作者：行者123 更新时间：2023-11-29 07:49:41

您好，我在运行 Storm 集群时遇到了问题。它类似于

我的拓扑定义为:

            package com.abc.newsclassification;

            import StormBase.KnowledgeGraph.ClassifierBolt;
            import StormBase.KnowledgeGraph.ClientSpecificTwitterSpout;
            import StormBase.KnowledgeGraph.LiveTwitterSpout;
            import StormBase.KnowledgeGraph.NewsTwitterSpout;
            import StormBase.KnowledgeGraph.TwitterTrainingBolt;
            import StormBase.KnowledgeGraph.UrlExtractorBolt;
            import backtype.storm.Config;
            import backtype.storm.LocalCluster;
            import backtype.storm.StormSubmitter;
            import backtype.storm.generated.AlreadyAliveException;
            import backtype.storm.generated.InvalidTopologyException;
            import backtype.storm.topology.TopologyBuilder;
            import backtype.storm.tuple.Fields;

            public class ClassifierTopology {

                public static void main(String[] args) throws Exception {
                    TopologyBuilder builder = new TopologyBuilder();

        // add a spout
                    builder.setSpout("spout", new NewsTwitterSpout(), 1);
                // configure 
                    Config conf = new Config();
                    conf.setDebug(false);

                    // submit it to the cluster, or submit it locally
                        conf.setMaxTaskParallelism(10);
                        LocalCluster cluster = new LocalCluster();
                                    System.out.println(conf.entrySet());
                        cluster.submitTopology("testTopology", conf,
                                builder.createTopology());

                }
            }

     ------------------------------------------------------------------------------------------------------
   ** END OF FILE **
     ------------------------------------------------------------------------------------------------------

pom.xml:

            <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
                xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
                <modelVersion>4.0.0</modelVersion>

                <groupId>StormBase</groupId>
                <artifactId>KnowledgeGraph</artifactId>
                <version>0.0.1-SNAPSHOT</version>
                <packaging>jar</packaging>

                <name>KnowledgeGraph</name>
                <url>http://maven.apache.org</url>

                <properties>
                    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
                </properties>

                <repositories>
                    <repository>
                        <id>clojars.org</id>
                        <url>http://clojars.org/repo</url>
                    </repository>
                </repositories>
                <build>
                    <plugins>
                        <plugin>
                            <groupId>org.apache.maven.plugins</groupId>
                            <artifactId>maven-compiler-plugin</artifactId>
                            <configuration>
                                <source>1.6</source>
                                <target>1.6</target>
                            </configuration>
                        </plugin>
                        <plugin>
                            <artifactId>maven-assembly-plugin</artifactId>
                            <configuration>
                                <archive>
                                    <manifest>
                                        <mainClass>com.abc.newsclassification.ClassifierTopology</mainClass>
                                    </manifest>
                                </archive>
                                <descriptorRefs>
                                    <descriptorRef>jar-with-dependencies</descriptorRef>
                                </descriptorRefs>
                            </configuration>
                            <executions>
                                <execution>
                                    <id>make-assembly</id> <!-- this is used for inheritance merges -->
                                    <phase>package</phase> <!-- bind to the packaging phase -->
                                    <goals>
                                        <goal>single</goal>
                                    </goals>
                                </execution>
                            </executions>
                        </plugin>
                    </plugins>
                </build>

                <dependencies>
                    <dependency>
                        <groupId>junit</groupId>
                        <artifactId>junit</artifactId>
                        <version>3.8.1</version>
                        <scope>test</scope>
                    </dependency>


                    <dependency>
                        <groupId>org.slf4j</groupId>
                        <artifactId>slf4j-jdk14</artifactId>
                        <version>1.6.1</version>
                    </dependency>
                    <dependency>
                        <groupId>org.slf4j</groupId>
                        <artifactId>slf4j-nop</artifactId>
                        <version>1.6.0</version>
                        <exclusions>
                            <exclusion>
                                <groupId>org.slf4j</groupId>
                                <artifactId>slf4j-api</artifactId>
                            </exclusion>
                        </exclusions>
                    </dependency>

                    <dependency>
                        <groupId>storm</groupId>
                        <artifactId>storm</artifactId>
                        <version>0.8.2</version>
                    </dependency>
                    <dependency>
                        <groupId>org.apache.zookeeper</groupId>
                        <artifactId>zookeeper</artifactId>
                        <version>3.3.3</version>
                        <exclusions>
                            <exclusion>
                                <groupId>com.sun.jmx</groupId>
                                <artifactId>jmxri</artifactId>
                            </exclusion>

                            <exclusion>
                                <groupId>com.sun.jdmk</groupId>
                                <artifactId>jmxtools</artifactId>
                            </exclusion>

                            <exclusion>
                                <groupId>javax.jms</groupId>
                                <artifactId>jms</artifactId>
                            </exclusion>

                        </exclusions>
                    </dependency>
                    <dependency>
                        <groupId>com.yammer.metrics</groupId>
                        <artifactId>metrics-core</artifactId>
                        <version>2.2.0</version>
                    </dependency>
                    <dependency>
                        <groupId>com.101tec</groupId>
                        <artifactId>zkclient</artifactId>
                        <version>0.3</version>
                    </dependency>
                    <dependency>
                        <groupId>net.sf.jopt-simple</groupId>
                        <artifactId>jopt-simple</artifactId>
                        <version>4.5</version>
                    </dependency>
                    <dependency>
                        <groupId>org.codehaus.jackson</groupId>
                        <artifactId>jackson-core-asl</artifactId>
                        <version>1.9.2</version>
                    </dependency>
                    <dependency>
                        <groupId>org.codehaus.jackson</groupId>
                        <artifactId>jackson-mapper-asl</artifactId>
                        <version>1.9.2</version>
                    </dependency>
                    <dependency>
                        <groupId>com.netflix.curator</groupId>
                        <artifactId>curator-test</artifactId>
                        <version>1.2.5</version>

                        <exclusions>
                            <exclusion>
                                <groupId>org.slf4j</groupId>
                                <artifactId>slf4j-log4j12</artifactId>
                            </exclusion>
                            <exclusion>
                                <groupId>log4j</groupId>
                                <artifactId>log4j</artifactId>
                            </exclusion>
                        </exclusions>
                    </dependency>
                    <dependency>
                        <groupId>org.twitter4j</groupId>
                        <artifactId>twitter4j-stream</artifactId>
                        <version>3.0.5</version>
                    </dependency>

                    <dependency>
                        <groupId>redis.clients</groupId>
                        <artifactId>jedis</artifactId>
                        <version>2.2.1</version>
                        <type>jar</type>
                        <scope>compile</scope>
                    </dependency>

                    <dependency>
                        <groupId>org.languagetool</groupId>
                        <artifactId>language-en</artifactId>
                        <version>2.3.1</version>
                    </dependency>

                    <dependency>
                        <groupId>org.twitter4j</groupId>
                        <artifactId>twitter4j-core</artifactId>
                        <version>3.0.5</version>
                    </dependency>

                    <dependency>
                        <groupId>org.apache.lucene</groupId>
                        <artifactId>lucene-core</artifactId>
                        <version>4.6.0</version>
                    </dependency>

                    <dependency>
                        <groupId>org.apache.lucene</groupId>
                        <artifactId>lucene-analyzers</artifactId>
                        <version>3.6.2</version>
                    </dependency>

                    <dependency>
                        <groupId>org.apache.lucene</groupId>
                        <artifactId>lucene-snowball</artifactId>
                        <version>3.0.3</version>
                    </dependency>

                    <dependency>
                        <groupId>org.apache.lucene</groupId>
                        <artifactId>lucene-analyzers-common</artifactId>
                        <version>4.6.0</version>
                    </dependency>

                    <dependency>
                        <groupId>com.gravity</groupId>
                        <artifactId>goose</artifactId>
                        <version>2.1.23</version>
                    </dependency>

                    <dependency>
                        <groupId>nz.ac.waikato.cms.weka</groupId>
                        <artifactId>weka-dev</artifactId>
                        <version>3.7.9</version>
                    </dependency>

                    <dependency>
                        <groupId>org.apache.directory.studio</groupId>
                        <artifactId>org.apache.commons.io</artifactId>
                        <version>2.4</version>
                    </dependency>

                    <dependency>
                        <groupId>org.apache.commons</groupId>
                        <artifactId>commons-lang3</artifactId>
                        <version>3.1</version>
                    </dependency>

                    <dependency>
                        <groupId>mysql</groupId>
                        <artifactId>mysql-connector-java</artifactId>
                        <version>5.0.8</version>
                    </dependency>

                    <dependency>
                        <groupId>org.javatuples</groupId>
                        <artifactId>javatuples</artifactId>
                        <version>1.2</version>
                    </dependency>
                    <dependency>
                        <groupId>org.apache.opennlp</groupId>
                        <artifactId>opennlp-tools</artifactId>
                        <version>1.5.3</version>
                    </dependency>

                    <dependency>
                        <groupId>org.apache.commons</groupId>
                        <artifactId>commons-io</artifactId>
                        <version>1.3.2</version>
                    </dependency>

                    <dependency>
                        <groupId>org.apache.directory.studio</groupId>
                        <artifactId>org.apache.commons.lang</artifactId>
                        <version>2.6</version>
                    </dependency>

                    <dependency>
                        <groupId>edu.stanford.nlp</groupId>
                        <artifactId>stanford-corenlp</artifactId>
                        <version>3.3.0</version>
                    </dependency>
                    <dependency>
                        <groupId>edu.stanford.nlp</groupId>
                        <artifactId>stanford-corenlp</artifactId>
                        <version>3.3.0</version>
                        <classifier>models</classifier>
                    </dependency>
                    <dependency>
                        <groupId>edu.washington.cs.knowitall.stanford-corenlp</groupId>
                        <artifactId>stanford-postag-models</artifactId>
                        <version>1.3.5</version>
                    </dependency>

                    <dependency>
                        <groupId>com.google.code.google-collections</groupId>
                        <artifactId>google-collect</artifactId>
                        <version>snapshot-20071022</version>
                    </dependency>

                    <dependency>
                        <groupId>com.googlecode.concurrent-trees</groupId>
                        <artifactId>concurrent-trees</artifactId>
                        <version>1.0.0</version>
                    </dependency>

                    <dependency>
                        <groupId>log4j</groupId>
                        <artifactId>log4j</artifactId>
                        <version>1.2.16</version>
                    </dependency>

                    <dependency>
                        <groupId>com.datastax.cassandra</groupId>
                        <artifactId>cassandra-driver-core</artifactId>
                        <version>1.0.3</version>
                    </dependency>

                    <dependency>
                        <groupId>org.hectorclient</groupId>
                        <artifactId>hector-core</artifactId>
                        <version>1.1-0</version>
                        <exclusions>
                            <exclusion>
                                <groupId>org.slf4j</groupId>
                                <artifactId>slf4j-log4j12</artifactId>
                            </exclusion>
                        </exclusions>
                    </dependency>

                    <dependency>
                        <groupId>me.prettyprint</groupId>
                        <artifactId>hector-test</artifactId>
                        <version>1.0-5</version>
                    </dependency>

                    <dependency>
                        <groupId>FBKeyWords</groupId>
                        <artifactId>FBKeyWords</artifactId>
                        <version>0.0.1-SNAPSHOT</version>
                        <classifier>jar-with-dependencies</classifier>
                    </dependency>

                    <dependency>
                        <groupId>KeyWordExtractor</groupId>
                        <artifactId>KeyWordExtractor</artifactId>
                        <version>0.0.1-SNAPSHOT</version>
                        <classifier>jar-with-dependencies</classifier>
                    </dependency>

                    <dependency>
                        <groupId>mysql</groupId>
                        <artifactId>mysql-connector-java</artifactId>
                        <version>5.1.6</version>
                    </dependency>

                </dependencies>
            </project>



            ---------------------------------------------------------------

            ** END OF pom.xml **
            ---------------------------------------------------------------

以下是我遇到的错误:

-----------------------------------------------------------------------------------------
 [topology.workers=3, topology.debug=false]
                Exception in thread "main" java.lang.RuntimeException: org.apache.thrift7.transport.TTransportException: java.net.ConnectException: Connection refused
                    at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:21)
                    at backtype.storm.StormSubmitter.submitTopology(StormSubmitter.java:70)
                    at backtype.storm.StormSubmitter.submitTopology(StormSubmitter.java:41)
                    at com.tookitaki.newsclassification.ClassifierTopology.main(ClassifierTopology.java:92)
                Caused by: org.apache.thrift7.transport.TTransportException: java.net.ConnectException: Connection refused
                    at org.apache.thrift7.transport.TSocket.open(TSocket.java:183)
                    at org.apache.thrift7.transport.TFramedTransport.open(TFramedTransport.java:81)
                    at backtype.storm.security.auth.SimpleTransportPlugin.connect(SimpleTransportPlugin.java:66)
                    at backtype.storm.security.auth.ThriftClient.<init>(ThriftClient.java:46)
                    at backtype.storm.utils.NimbusClient.<init>(NimbusClient.java:30)
                    at backtype.storm.utils.NimbusClient.<init>(NimbusClient.java:26)
                    at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:19)
                    ... 3 more
                Caused by: java.net.ConnectException: Connection refused
                    at java.net.PlainSocketImpl.socketConnect(Native Method)
                    at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)
                    at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)
                    at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)
                    at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
                    at java.net.Socket.connect(Socket.java:579)
                    at org.apache.thrift7.transport.TSocket.open(TSocket.java:178)
                    ... 9 more

请让我知道我应该使用哪个版本的 Storm /其他包，或者是否有任何其他问题导致此错误。欢迎提出任何建议。

最佳答案

我也遇到了同样的问题。

我检查了 iptables、supervisors 和 nimbus，但这不是他们的问题。

我尝试提交一半的拓扑(通过移除某种 bolt )并且它通过了。

我检查了 nimbus.log 并发现一条错误行表明 thrift 缓冲区已满，因此您可以使用配置更改您的“storm.yaml”:

nimbus.thrift.max_buffer_size: 20480000

关于java - 在生产环境中运行时 Storm 拓扑失败，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/22264893/

文章推荐： java - 手动按下 JButton 会产生与 doClick() 不同的结果？

文章推荐： mysql - 如何让MySQL中这个重复的Update语句变得更短？

文章推荐： java - 在Java中删除csv文件的内容

文章推荐： java - java类函数太多，如何拆分成多个文件

Grails 环境
我在文档中找不到答案，所以我在这里问。在 Grails 中，当您创建应用程序时，您会默认获得生产、开发等环境。如果您想为生产构建 WAR，您可以运行以下任一命令: grails war 或者 gr
Sitecore 环境
我们组织的网站正在迁移到 Sitecore CMS，但我们正在努力以某种方式为开发人员 (4)、设计师 (4)、QA 人员 (3)、作者 (10-15) 和批准者 (4-10) 设置环境在他们可以独立
CVSROOT 环境
如何在WinCVS中设置CVSROOT环境变量？最佳答案简单的回答是:您不需要。 CVSROOT 环境变量被高估了。 CVS(NT) 只会在确定存储库连接字符串的所有其他方法都已用尽时才使用它。人
haskell 环境
我最近完成了“learnyouahaskell”一书，现在我想通过构建 yesod 应用程序来应用我所学到的知识。但是我不确定如何开始。关于如何设置 yesod 项目似乎有两个选项。一是Stack
C# 环境
在这一章中，我们将讨论创建 C# 编程所需的工具。我们已经提到 C# 是 .Net 框架的一部分，且用于编写 .Net 应用程序。因此，在讨论运行 C# 程序的可用工具之前，让我们先了解一下 C#
03、Ruby 环境
运行Ruby 代码需要配置 Ruby 编程语言的环境。本章我们会学习到如何在各个平台上配置安装 Ruby 环境。各个平台上安装 Ruby 环境 Linux/Unix 上的 Ruby 安装
ide - 最佳移动应用程序开发工具/环境？
就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the he
r - 返回和保存时如何清理函数闭包(环境)？
我有一个这样的计算(请注意，这只是非常简化的、缩减版的、最小的可重现示例!): computation <- function() # simplified version! { # a lo
R 环境/哈希表随着增长到数百万而变慢
我使用环境作为哈希表。键是来自常规文本文档的单词，值是单个整数(某个其他结构的索引)。当我加载数百万个元素时，更新和查找都变慢了。下面是一些代码来显示行为。看起来从一开始的行为在 O(n) 中比在
可重现的 saveRDS 环境
我正在构建一个 R 包并使用 data-raw和 data存储预定义的库 RxODE楷模。这非常有效。然而，由此产生的.rda文件每代都在变化。某些模型包含 R 环境，并且序列化似乎包含“创建时间”
Xcode 环境——快捷方式和缩进实用程序
(不确定问题是否属于这里，所以道歉是为了) 我很喜欢 Sublime Text ，我经常发现 Xcode 缺少一些文本/数据处理的东西。我可能有不止一个问题—— 'Command +/' 注释代码但没
Symfony - 仅在开发中定义路线。环境
我正在使用 SF2，并且创建了一些有助于项目调试的路由: widget_debug_page: path: /debug/widget/{widgetName} defau
django - conda 环境
我创建了一个名为 MyDjangoEnv 的 conda 环境。当我尝试使用 source activate MyDjangoEnv 激活它时，出现错误: No such file or direct
javascript - Cordova 环境
有没有办法区分从本地机器运行的包和从 Cordova 应用商店安装的包？例如，我想像这样设置一个名为“evn”的 JavaScript 变量: if(cordovaLocal){ env = 'de
足够困难地学习的 C 环境
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visit the help center . 关闭 1
Java 初学者网络开发工具包/环境
我的任务是使用 java 和 mysql 开发一个交互式网站:使用 servlet 检索和处理数据，applet 对数据客户端进行特殊处理，并处理客户端对不同数据 View 的请求。对于使用 jav
Linux 环境 -i 奇怪
这按预期工作: [dgorur@ted ~]$ env -i env [dgorur@ted ~]$ 这样做: [dgorur@ted ~]$ env -i which date which: no
R:列表中的快速哈希搜索(环境)
我想进行非常快速的搜索，看来使用哈希(通过环境)是最好的方法。现在，我得到了一个在环境中运行的示例，但它没有返回我需要的内容。这是一个例子: a system.time(benchEnv(), g
Windows 环境 OpenACC
我想开始开发 OpenACC 程序，我有几个问题要问:是否可以在 AMD gpu 上执行 OpenACC 代码？如果是这样，我正在寻找适用于 Windows 环境的编译器。我花了将近一个小时什么也没
Linux 环境。让机器变慢
这可能看起来很奇怪，但是有没有办法制作机器(linux/unix 风格 - 最好是 RHEL)。我需要控制机器的速度以确保代码在非常慢的系统上工作并确定正确的断点(在时间方面)。我能做到的一种方法是

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

java - 在生产环境中运行时 Storm 拓扑失败