java - 在 HTTP Servlet 中正确地流式传输输入和输出

Question

我正在尝试编写将处理 POST 请求并流式传输输入和输出的 servlet。我的意思是它应该读取一行输入，在这一行上做一些工作，然后写一行输出。它应该能够处理任意长的请求(因此也会产生任意长的响应)而不会出现内存不足异常。这是我的第一次尝试:

protected void doPost(HttpServletRequest request, HttpServletResponse response) {
    ServletInputStream input = request.getInputStream();
    ServletOutputStream output = response.getOutputStream();

    LineIterator lineIt = lineIterator(input, "UTF-8");
    while (lineIt.hasNext()) {
        String line = lineIt.next();
        output.println(line.length());
    }
    output.flush();
}

现在我使用 curl 测试了这个 servlet它有效，但是当我使用 Apache HttpClient 编写客户端时，客户端线程和服务器线程都挂起。客户端看起来像这样:

HttpClient client = HttpClientBuilder.create().build();
HttpPost post = new HttpPost(...);

// request
post.setEntity(new FileEntity(new File("some-huge-file.txt")));
HttpResponse response = client.execute(post);

// response
copyInputStreamToFile(response.getEntity().getContent(), new File("results.txt"));

问题很明显。客户端在一个线程中按顺序执行它的工作——首先它完全发送请求，然后才开始读取响应。但是服务器为每一行输入写一行输出，如果客户端没有读取输出(并且顺序客户端没有)然后服务器被阻止尝试写入输出流。这反过来会阻止客户端尝试将输入发送到服务器。

我想 curl有效，因为它以某种方式同时发送输入和接收输出(在单独的线程中？)。所以第一个问题是 Apache HttpClient 是否可以配置为与 curl 行为相似？ ？

下一个问题是，如何改进 servlet，使行为不端的客户端不会导致服务器线程挂起？我的第一个尝试是引入中间缓冲区，它将收集输出直到客户端完成发送输入，然后 servlet 才会开始发送输出:

ServletInputStream input = request.getInputStream();
ServletOutputStream output = response.getOutputStream();

// prepare intermediate store
int threshold = 100 * 1024; // 100 kB before switching to file store
File file = File.createTempFile("intermediate", "");
DeferredFileOutputStream intermediate = new DeferredFileOutputStream(threshold, file);

// process request to intermediate store
PrintStream intermediateFront = new PrintStream(new BufferedOutputStream(intermediate));
LineIterator lineIt = lineIterator(input, "UTF-8");
while (lineIt.hasNext()) {
    String line = lineIt.next();
    intermediateFront.println(line.length());
}
intermediateFront.close();

// request fully processed, so now it's time to send response
intermediate.writeTo(output);

file.delete();

这有效，行为不端的客户端可以安全地使用我的 servlet，但另一方面对于这些并发客户端，如 curl该解决方案增加了不必要的延迟。并行客户端在单独的线程中读取响应，因此在使用请求时逐行生成响应时会受益。

所以我认为我需要一个字节缓冲区/队列:

• 可以由一个线程写入，由另一个线程读取
• 最初只会在内存中
• 必要时会溢出到磁盘(类似于 <a href="https://commons.apache.org/proper/commons-io/javadocs/api-2.4/org/apache/commons/io/output/DeferredFileOutputStream.html" rel="noreferrer noopener nofollow">DeferredFileOutputStream</a> )。

在 servlet 中，我将生成新线程来读取输入、处理输入并将输出写入缓冲区，主 servlet 线程将从该缓冲区读取并将其发送到客户端。

你知道有图书馆喜欢这样做吗？或者也许我的假设是错误的，我应该做一些完全不同的事情......

Answer 1

要实现同时写入和读取可以使用 Jetty HttpClient http://www.eclipse.org/jetty/documentation/current/http-client-api.html

我已经使用此代码创建了对您的存储库的拉取请求。

HttpClient httpClient = new HttpClient();
httpClient.start();

Request request = httpClient.newRequest("http://localhost:8080/line-lengths");
final OutputStreamContentProvider contentProvider = new OutputStreamContentProvider();
InputStreamResponseListener responseListener = new InputStreamResponseListener();

request.content(contentProvider).method(HttpMethod.POST).send(responseListener); //async request
httpClient.getExecutor().execute(new Runnable() {
    public void run() {
        try (OutputStream outputStream = contentProvider.getOutputStream()) {
            writeRequestBodyTo(outputStream); //writing to stream in another thread
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
});

readResponseBodyFrom(responseListener.getInputStream()); //reading response
httpClient.stop();