gpt4 book ai didi

google-cloud-datastore - 使用 Dataflow 的 DatastoreIO 查询命名空间

转载 作者:行者123 更新时间:2023-12-01 13:50:25 25 4
gpt4 key购买 nike

使用 Dataflow 的 DatastoreIO 时是否可以查询特定命名空间中的实体?

最佳答案

截至今天,不幸的是,由于用于并行读取查询结果的 Datastore QuerySplitter API 的限制,DatastoreIO 不支持从命名空间中的实体读取。我们正在内部跟踪问题,您的反馈对于确定问题的优先级很有值(value)。

如果您的管道从 Datastore 读取的实体数量足够少(或其余处理足够繁重),那么按顺序读取它们(但并行处理)就可以了,您可以尝试 Google Cloud Dataflow User-Defined MySQL Source 中建议的解决方法

你也可以试试exporting your data to BigQuery并在那里处理它,使用 BigQuery 的查询功能或 Dataflow 的 BigQueryIO 连接器 - 它们没有并行性限制。

关于google-cloud-datastore - 使用 Dataflow 的 DatastoreIO 查询命名空间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32204018/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com