hadoop - Pig Cassandra process very slow (Heart beat) with oozie

Question

我有一个 pig 脚本，它将从 cassandra 获取所有数据，进行少量转换并存储到 hdfs 上。在pig的grunt控制台执行时，cassandra数据量大，耗时将近30分钟。

但是当我使用 oozie 工作流执行相同的操作时，它执行但需要很长时间，将近一个半小时。当我检查 hadoop 日志时，这就是它所说的。

2013-11-19 01:20:00,871 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - More information at: master:50030/jobdetails.jsp?jobid=job_201311190052_0002 Heart beat .. .. Heart beat Heart beat 2013-11-19 02:09:59,172 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 50% complete 2013-11-19 02:10:17,289 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 100% complete

几乎它会检查心跳 50 分钟，然后再次恢复该过程。

我在 9000 端口上进行了从源到目标的远程登录。我能够连接。我什至检查了两台机器上 IP 配置的/etc/hosts 文件，顺便说一下，这看起来不错。

我们仍然不明白为什么会这样？这是什么？以及如何克服这个问题，以便更快地完成处理。任何人都可以在这方面帮助我们吗？非常感谢任何帮助。

Answer 1

这是解决问题的两件事。

1) 使用where子句从cassandra获取数据，而不是获取所有数据。

2) 多加几个风扇给机器，因为这也是由于 HDD 冷却不足。