hadoop - ConnectionError(MaxRetryError("HTTPConnectionPool Max retries exceeded using pywebhdfs

Question

您好，我正在使用 pywebhdfs python 库。我通过调用并尝试在 HDFS 上创建文件来连接 EMR。我遇到了以下异常，这似乎与我正在执行的操作无关，因为我在这里没有达到任何连接限制。是因为 webhdfs 的工作方式吗

from pywebhdfs.webhdfs import PyWebHdfsClient
hdfs = PyWebHdfsClient(host='myhost',port='50070', user_name='hadoop')
my_data = '01010101010101010101010101010101'
my_file = 'user/hadoop/data/myfile.txt'
hdfs.create_file(my_file, my_data)

抛出:

requests.exceptions.ConnectionError: HTTPConnectionPool(host='masterDNS', port=50070): Max retries exceeded with url: /webhdfs/v1/user/hadoop/data/myfile.txt?op=CREATE&user.name=hadoop (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 115] Operation now in progress',))

Answer 1

我也有这个问题。我发现出于某种原因调用:

发送( self ，请求，stream=False，timeout=None，verify=True，cert=None，proxies=None):

传递的超时值为 0，这会导致 send 抛出一个

最大重试错误

底线，我发现如果你只是设置超时= 1，它工作正常:

hdfs = PyWebHdfsClient(host='yourhost', port='50070', user_name='hdfs', timeout=1)

希望这对你也有用。