gpt4 book ai didi

python - Apache Beam 中的并行度

转载 作者:太空宇宙 更新时间:2023-11-03 20:20:59 25 4
gpt4 key购买 nike

使用 python 库在 Apache Beam 中进行 parDo 转换时,有什么方法可以设置并行数吗?

代码:

xmls = contracts | 'Get XML' >> beam.ParDo(get_xml())

最佳答案

Beam 模型对数据进行分片,但它不依赖于预先确定的分片数量,因此它没有留下允许在 ParDo 上指定分片数量的接口(interface)。例如,Beam runner 之一 Cloud Dataflow 就可以通过这种模型进行液体分片和自动缩放。

关于python - Apache Beam 中的并行度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58155908/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com