gpt4 book ai didi

amazon-ec2 - 如何使用 Apache Whirr 在 AWS 上建立单节点 Hadoop 实例?

转载 作者:可可西里 更新时间:2023-11-01 16:20:58 26 4
gpt4 key购买 nike

我正在尝试使用 Apache Whirr 在 Amazon Web Services 上运行 Hadoop 的单节点实例。我将 whirr.instance-templates 设置为 1 jt+nn+dn+tt。该实例启动正常。我能够创建目录,但是当我尝试put 文件时,我得到一个File could only be replicated to 0 nodes, instead of 1 error。当我执行 hadoop fsck/ 时,出现 Exception in thread "main"java.net.ConnectException: Connection refused 错误。有谁知道我的配置有什么问题吗?

最佳答案

我的经验是 whirr 并不总是可靠地启动所有服务。好像是namenode启动了(namenode负责存储目录信息),但是datanode没有启动(datanode存储数据)。

尝试运行

hadoop dfsadmin -report 

查看数据节点是否可用。

如果不是:通常重启集群会有所帮助。

关于amazon-ec2 - 如何使用 Apache Whirr 在 AWS 上建立单节点 Hadoop 实例?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6311130/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com