java - 下载大型结果

Question

是否可以使用声明性客户端下载大型结果，例如使用InputStream？我尝试了像

这样的客户端签名

HttpResponse<InputStream> getQueryResult(String jobId, String resultId);

但它尝试下载整个正文，然后导致

io.micronaut.http.client.exceptions.ContentLengthExceededException: The received length exceeds the maximum content length 

提前谢谢您。

Answer 1

这里发生的是，您的客户端请求一个完全接收(聚合)的 HttpResponse，包装一个字节数组，然后将其转换为 InputStream。为了获取不聚合的响应字节，您需要请求一种响应类型，例如 ByteBuffer 的 org.reactivestreams.Publisher (或其合适的子类) >s。然后你需要处理这些。

示例:

Flowable<ByteBuffer<?>> getQueryResult(String jobId, String resultId);

然后，您可以在该 io.reactivex.Flowable 上运行 map、forEach、blockingForEach 等- 但请记住释放缓冲区，否则您将生成大量垃圾，并收到令人讨厌的日志消息。示例(Groovy 中):

Flowable<ByteBuffer<?>> responseFlowable = myClient.getQueryResult("job1", "foo")
int sum = 0
responseFlowable.blockingForEach { ByteBuffer byteBuffer ->
    sum += byteBuffer.toByteArray().count('!')
    ((ReferenceCounted)byteBuffer).release() // Let Netty do its thing!
}

(显然，阻塞对于高吞吐量来说是不利的，但这只是一个例子)

我希望这会有所帮助。