azure - 当我运行 flink 作业将数据存储到 Azure Data Lake 时，出现以下异常。有人可以指导我吗？

Question

I am using concurrend append method from the class Core in Azure to store data to Azure Data lake.Below is the code and the exception which I got.I am getting this exception rarely not always.Could anyone guide me?...





public void invoke(String value)  {
        BitfinexSingletonClass obj = null;
        try {
            obj = BitfinexSingletonClass.getInstance();
        } catch (IOException e1) {
            slf4jLogger.info(e1.getMessage());
        }
        ADLStoreClient client = obj.getADLStoreClient();
        byte[] myBuffer = (value + "\n").getBytes();

        RequestOptions opts = new RequestOptions();

        opts.retryPolicy = new ExponentialBackoffPolicy();

        OperationResponse resp = new OperationResponse();
        slf4jLogger.info("" + value);
        slf4jLogger
                .info("...............Writing.........above......BITFINEX_DSHBTC_ORDER..Data............................ToADLake............");
        Core.concurrentAppend(BITFINEX_DSHBTC_ORDER, myBuffer, 0, myBuffer.length, true, client, opts, resp);
        slf4jLogger.info("...............BITFINEX_DSHBTC_ORDER...Data...Successfully....written.....to...AzureDataLake............");
        if (!resp.successful) {
            try {
                throw client.getExceptionFromResponse(resp, "BITFINEX_DSHBTC_ORDER data is not written to ADL");
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }

    }

com.microsoft.azure.datalake.store.ADLException:操作 CONCURRENTAPPEND 失败，出现异常 java.net.SocketTimeoutException:读取超时 最后遇到 5 次尝试后抛出的异常 [java.net.UnknownHostException、java.net.UnknownHostException、java.net.UnknownHostException、java.net.SocketTimeoutException、java.net.SocketTimeoutException] 在 com.microsoft.azure.datalake.store.ADLStoreClient.getExceptionFromResponse(ADLStoreClient.java:1124) 在co.biz.yobit.sink.YobitLtcbtcTickerADLSink.invoke(YobitLtcbtcTickerADLSink.java:41) 在 org.apache.flink.streaming.api.operators.StreamSink.processElement(StreamSink.java:38) 在 org.apache.flink.streaming.runtime.io.StreamInputProcessor.processInput(StreamInputProcessor.java:185) 在org.apache.flink.streaming.runtime.tasks.OneInputStreamTask.run(OneInputStreamTask.java:63) 在org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:261) 在org.apache.flink.runtime.taskmanager.Task.run(Task.java:665) 在 java.lang.Thread.run(Thread.java:748) 原因:java.net.SocketTimeoutException:读取超时 在 java.net.SocketInputStream.socketRead0( native 方法) 在 java.net.SocketInputStream.socketRead(SocketInputStream.java:116) 在 java.net.SocketInputStream.read(SocketInputStream.java:171) 在 java.net.SocketInputStream.read(SocketInputStream.java:141) 在 sun.security.ssl.InputRecord.readFully(InputRecord.java:465) 在 sun.security.ssl.InputRecord.read(InputRecord.java:503) 在sun.security.ssl.SSLSocketImpl.readRecord(SSLSocketImpl.java:973) 在sun.security.ssl.SSLSocketImpl.readDataRecord(SSLSocketImpl.java:930) 在 sun.security.ssl.AppInputStream.read(AppInputStream.java:105) 在 java.io.BufferedInputStream.fill(BufferedInputStream.java:246) 在 java.io.BufferedInputStream.read1(BufferedInputStream.java:286) 在 java.io.BufferedInputStream.read(BufferedInputStream.java:345) 在 sun.net.www.http.HttpClient.parseHTTPHeader(HttpClient.java:735) 在 sun.net.www.http.HttpClient.parseHTTP(HttpClient.java:678) 在 sun.net.www.protocol.http.HttpURLConnection.getInputStream0(HttpURLConnection.java:1569) 在 sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1474) 在 java.net.HttpURLConnection.getResponseCode(HttpURLConnection.java:480) 在 sun.net.www.protocol.https.HttpsURLConnectionImpl.getResponseCode(HttpsURLConnectionImpl.java:338) 在 com.microsoft.azure.datalake.store.HttpTransport.makeSingleCall(HttpTransport.java:292) 在 com.microsoft.azure.datalake.store.HttpTransport.makeCall(HttpTransport.java:91) 在 com.microsoft.azure.datalake.store.Core.concurrentAppend(Core.java:210) 在co.biz.yobit.sink.YobitLtcbtcTickerADLSink.invoke(YobitLtcbtcTickerADLSink.java:37) ... 6 更多

Answer 1

上述错误通常是由于运行代码的主机与 Azure Data Lake Store 之间的网络条件不可靠造成的。正如评论中所确认的，主机跨地域运行，通过 WAN 连接。因此，这些错误是预料之中的，如果看到这些错误，您应该重试

建议 Flink 集群在与 Azure Data Lake Store 位于同一区域的 VM 上运行。在该配置中，您将不会看到这些网络错误。