gpt4 book ai didi

hadoop - Pig Cassandra process very slow (Heart beat) with oozie

转载 作者:可可西里 更新时间:2023-11-01 16:16:24 24 4
gpt4 key购买 nike

我有一个 pig 脚本,它将从 cassandra 获取所有数据,进行少量转换并存储到 hdfs 上。在pig的grunt控制台执行时,cassandra数据量大,耗时将近30分钟。

但是当我使用 oozie 工作流执行相同的操作时,它执行但需要很长时间,将近一个半小时。当我检查 hadoop 日志时,这就是它所说的。

2013-11-19 01:20:00,871 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - More information at: master:50030/jobdetails.jsp?jobid=job_201311190052_0002 Heart beat .. .. Heart beat Heart beat 2013-11-19 02:09:59,172 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 50% complete 2013-11-19 02:10:17,289 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 100% complete

几乎它会检查心跳 50 分钟,然后再次恢复该过程。

我在 9000 端口上进行了从源到目标的远程登录。我能够连接。我什至检查了两台机器上 IP 配置的/etc/hosts 文件,顺便说一下,这看起来不错。

我们仍然不明白为什么会这样?这是什么?以及如何克服这个问题,以便更快地完成处理。任何人都可以在这方面帮助我们吗?非常感谢任何帮助。

最佳答案

这是解决问题的两件事。

1) 使用where子句从cassandra获取数据,而不是获取所有数据。

2) 多加几个风扇给机器,因为这也是由于 HDD 冷却不足。

关于hadoop - Pig Cassandra process very slow (Heart beat) with oozie,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20090869/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com