azure - 尝试将数据加载到 Data Lake Storage Gen1 时出现 NameOrService 未知错误

Question

我正在尝试使用 python 将数据加载到 Data Lake Storage Gen1，但 NameOrService 未知。我已经创建了一个 AD 应用程序并获取了文档中提到的客户端 key 、租户 ID

adlsAccountName = '*******'
adlCreds = lib.auth(tenant_id = '*****', client_secret = '*****', client_id ='******')
##Create a filesystem client object
adlsFileSystemClient = core.AzureDLFileSystem(adlCreds, store_name=adlsAccountName)
adlsFileSystemClient.ls('/')

我收到的错误是:

azure.datalake.store.exceptions.DatalakeRESTException: HTTP error: ConnectionError(MaxRetryError("HTTPSConnectionPool(host='junipertest.azuredatalakestore.net', port=443): Max retries exceeded with url: /webhdfs/v1/.?api-version=2018-09-01&listSize=4000&OP=LISTSTATUS (Caused by NewConnectionError(': Failed to establish a new connection: [Errno -2] Name or service not known',))",),)

我已经尝试了 mkdir 和 ls 但得到了相同的错误。

Answer 1

“名称或服务未知”是一个网络错误，表示无法解析主机 junipertest.azuredatalakestore.net 或端口 443 上没有服务。

1. Check the name again in the Azure portal.

2. Check the name resolution (DNS) :

> nslookup junipertest.azuredatalakestore.net # Windows

$ dig junipertest.azuredatalakestore.net # Linux

确保您有到达数据湖的路线。

• 来自 Azure Portal选择数据湖存储并选择防火墙和虚拟网络
• For Gen1 storage, follow this guide to secure data