gpt4 book ai didi

amazon-web-services - HDFS上的本地文件出现问题

转载 作者:行者123 更新时间:2023-12-02 20:33:51 27 4
gpt4 key购买 nike

我在带有Spark的AWS上使用Hadoop。运行此命令:

hdfs dfs -put testfile 

给我这个错误:
18/08/29 02:59:06 WARN hdfs.DataStreamer: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/ubuntu/testfile._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.

这是日志文件:

Aug 29 03:31 hadoop-ubuntu-namenode-ambari.master.com.log

有人可以告诉我这是怎么回事吗?谢谢。

最佳答案

我认为是因为我忘记在AWS的网络设置中设置网络限制,所以datanode无法连接到namenode。我为你这个愚蠢的错误感到抱歉。我昨天更改了网络设置,并且可以正常工作。

关于amazon-web-services - HDFS上的本地文件出现问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52069078/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com