gpt4 book ai didi

DoFn 中的 HTTP 客户端

转载 作者:可可西里 更新时间:2023-11-01 16:08:57 26 4
gpt4 key购买 nike

我想通过 DoFn 为在 Dataflow 上运行的 Apache Beam 管道发出 POST 请求。

为此,我创建了一个客户端,它实例化了一个在 PoolingHttpClientConnectionManager 上配置的 HttpClosableClient。

但是,我为我处理的每个元素实例化了一个客户端。

我如何设置一个由我的所有元素使用的持久客户端?

我应该使用其他类来处理并行和高速 HTTP 请求吗?

最佳答案

可以把client放到一个成员变量中,用@Setup方法打开,用@Teardown方法关闭。 Beam 中几乎所有 IO 的实现都使用这种模式,例如见JdbcIO .

关于DoFn 中的 HTTP 客户端,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47541126/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com