- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我目前正在从事一个项目,从 TI-SensorTag CC2650 收集传感器值,使用 python 脚本通过 HTTP(通过 Apache-TomCat-Servlet)将这些值发送到 Apache-Kafka,并将 Kafka 与 Apache- Storm 来处理数据。
此数据将通过拓扑中的 bolt 写入本地系统(Apache-Storm-Cluster-Folder 的目录)上的 .txt 文件。
几周前我刚刚开始使用 Storm 和 Kafka,我对以下内容感到困惑:
如果我在本地集群上运行拓扑,一切正常。但是如果我将它提交到一个“普通”集群,在 localhost:8888 上运行,那么它什么都不做。
Storm-UI 确实显示了拓扑,但似乎对来自 kafka 的传入消息没有任何反应。
本地集群上的测试和真实集群上的功能应该差不多吧?或者集群只是没有权限在我的本地系统上写入/修改文件?
附加信息:
它应该如何运作?
When I write an message to an topic in Kafka, the Kafka-Spout of the topology should grab that message and write it down into an .txt-file on my local filesystem.
我的代码 (jar-with-dependencies) 位于:
"/home/tobias/storm/apache-storm-0.9.2-incubating/mycode/StormKafkaTopology/target/"
我正在尝试写入位于以下位置的 output.txt:
"/home/tobias/storm/apache-storm-0.9.2-incubating/mycode/StromKafkaTopology"/tmp/"
拓扑代码:
public class StormKafkaTopology {
public static void main(String[] args) throws Exception {
Config config = new Config();
config.setDebug(true);
config.put(Config.TOPOLOGY_MAX_SPOUT_PENDING, 1);
String zkConnString = "localhost:2181";
String topic = "mytopic";
BrokerHosts hosts = new ZkHosts(zkConnString);
SpoutConfig kafkaSpoutConfig = new SpoutConfig(hosts, topic, "/" +topic, UUID.randomUUID().toString());
kafkaSpoutConfig.bufferSizeBytes = 1024 * 1024 * 4;
kafkaSpoutConfig.fetchSizeBytes = 1024 * 1024 * 4;
//kafkaSpoutConfig.forceFromStart = true;
kafkaSpoutConfig.scheme = new SchemeAsMultiScheme(new StringScheme());
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("kafka-spout", new KafkaSpout(kafkaSpoutConfig));
builder.setBolt("printer-bolt", new PrinterBolt()).shuffleGrouping("kafka-spout");
if (args != null && args.length >0) {
config.setNumWorkers(6);
config.setNumAckers(6);
//config.setMaxSpoutPending(100);
//config.setMessageTimeoutSecs(20);
StormSubmitter.submitTopology("StormKafkaTopology", config, builder.createTopology());
} else {
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("StormKafkaTopology", config, builder.createTopology());
Utils.sleep(10000);
cluster.killTopology("StormKafkaTopology");
cluster.shutdown();
}
}}
PrinterBolt 代码:
public class PrinterBolt extends BaseBasicBolt {
/*
* execute-method will be opened if tuples are processed
*/
@Override
public void execute(Tuple tuple, BasicOutputCollector collector) {
String msg = tuple.getString(0);
System.out.println("======before write file======");
try {
// set file directory:
File file = new File("/home/tobias/storm/apache-storm-0.9.2-incubating/mycode/StormKafkaTopology/tmp/output.txt");
if(!file.exists()) {
file.createNewFile();
}
//create a FileWriter
FileWriter fw = new FileWriter(file.getAbsoluteFile(), true);
//create a BufferedWriter
BufferedWriter bw = new BufferedWriter(fw);
//write into the file
bw.write(msg + "\n");
//close the BufferedWriter (IMPORTANT)
bw.close();
} catch (IOException e) {
e.printStackTrace();
}
System.out.println("======after write file======");
//you could emit some Date here for further processing:
//collector.emit(new Values(msg));
}
@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(new Fields("output"));
}}
如果有人能够指出我的错误并提供一些建议,我将不胜感激。
最佳答案
如果您能够“本地”运行它,那么这是很好的第一步。此外,听起来您可以访问 Storm UI,这很好。提交拓扑后,它应该会显示在 Storm UI 中,然后您可以单击它来查看拓扑中的 spouts 和 bolts。单击每个 spout/bolt,然后单击端口(每个工作人员一个)以在 UI 中查看日志。
我的猜测是某处有错误。是时候开始挖掘 storm/kafka 日志以找出它是什么了。
Q:如何识别哪个worker创建了哪个log?每个 worker 都被分配了一个端口。每个工作日志都是拓扑名称 + 端口的组合。对于您来说,只需找到最新的日志并查看其中的内容即可。
一些事情:
collector.reportError(e);
报告错误。然后它会在 Storm ui 中显示为红色!关于java - 集群中的拓扑是否可以写入本地文件系统上的 txt 文件? (在同一系统上运行的集群),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40973098/
我有这个代码: System.err.print("number of terms = "); System.out.println(allTerms.size()); System.err
我有以下问题:在操作系统是 Linux 的情况下和在操作系统是 MacOs 的情况下,我必须执行不同的操作。 所以我创建了以下 Ant 脚本目标: /u
我正在调用 system("bash ../tools/bashScript\"This is an argument!\"&"),然后我正在调用 close(socketFD) 直接在 system
使用最初生成的随机元素来约束随机数组的连续元素是否有效。 例如:我想生成一组 10 个 addr、size 对来模拟典型的内存分配例程并具有如下类: class abc; rand bit[5:0
我正在创建一个必须使用system(const char*)函数来完成一些“繁重工作”的应用程序,并且我需要能够为用户提供粗略的进度百分比。例如,如果操作系统正在为您移动文件,它会为您提供一个进度条,
我即将编写一些项目经理、开发人员和业务分析师会使用的标准/指南和模板。目标是更好地理解正在开发或已经开发的解决方案。 其中一部分是提供有关记录解决方案的标准/指南。例如。记录解决/满足业务案例/用户需
在开发使用压缩磁盘索引或磁盘文件的应用程序时,其中部分索引或文件被重复访问(为了论证,让我们说一些类似于 Zipfian 分布的东西),我想知道什么时候足够/更好地依赖操作系统级缓存(例如,Debia
我们编写了一个 powershell 脚本,用于处理来自内部系统的图像并将其发送到另一个系统。现在,业务的另一部分希望加入其中,对数据进行自己的处理,并将其推送到另一个系统。打听了一下,公司周围有几个
我正在尝试朗姆酒我的应用程序,但我收到以下错误:System.Web.HttpUnhandledException:引发了“System.Web.HttpUnhandledException”类型的异
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是偏离主题的,
所以我在其他程序中没有收到此错误,但我在这个程序中收到了它。 这个程序是一个我没有收到错误的示例。 #include int main() { system("pause"); } // en
我在 c# System.URI.FormatExption 中遇到问题 为了清楚起见,我使用的是 Segseuil 的 Matlab 方法,并且它返回一个图片路径 result。我想为其他用户保存此
我正在尝试像这样设置文本框的背景色: txtCompanyName.BackColor = Drawing.Color.WhiteSmoke; 它不喜欢它,因为它要我在前面添加系统,例如: txtCo
请帮助我解决 System.StackOverflowException我想用 .aspx 将记录写入数据库我使用 4 层架构来实现这一切都正常但是当我编译页面然后它显示要插入数据的字段时,当我将数据
我使用了一些通常由系统调用的API。 因此,我将 android:sharedUserId="android.uid.system" 添加到 manifest.xml, 并使用来自 GIT 的 And
我正在尝试创建一个小型应用程序,它需要对/system 文件夹进行读/写访问(它正在尝试删除一个文件,并创建一个新文件来代替它)。我可以使用 adb 毫无问题地重新挂载该文件夹,如果我这样做,我的应用
我想从没有 su 的系统 priv-app 将/system 重新挂载为 RW。如何以编程方式执行此操作?只会用 Runtime.getruntime().exec() 执行一个 shell 命令吗
我正在尝试制作一个带有登录系统的程序我对此很陌生,但我已经连续工作 8 个小时试图解决这个问题。这是我得到的错误代码 + ServerVersion 'con.ServerVersion' threw
当我“构建并运行”Code::Blocks 中的程序时,它运行得非常好!但是当我从“/bin”文件夹手动运行它时,当它试图用 system() 调用“temp.bat”时,它会重置。这是为什么?它没有
我想使用 system/pipe 命令来执行具有特殊字符的命令。下面是示例代码。通过系统/管道执行命令后,它通过改变特殊字符来改变命令。我很惊讶地看到系统命令正在更改作为命令传递的文本。 run(ch
我是一名优秀的程序员,十分优秀!