python - Google Cloud Dataflow 访问云存储上的.txt 文件

Question

如果我在 GCS 上存储了一个 .txt 文件，其中包含将用作 beam.Filter 一部分的单词列表，可以在我的 apache beam 管道中动态访问该列表吗？我知道我可以将此列表定义为管道内的全局变量，但我不确定如何将整个文件读入列表中，以及是否有任何光束技巧可以实现此目的。有什么建议么？这是我当前的实现，它不起作用..

def boolean_terms(word, term_list):
  if word in term_list:
    return (word, 1)
  else:
    return (word, 0)

# side table
filter_terms = p | beam.io.ReadFromText(path_to_gcs_txt_file)

words = ...

filtered_words = words | beam.FlatMap(lambda x: 
    [boolean_terms(word, filter_terms) for word in x])

我收到以下错误“TypeError:‘_InvalidUnpickledPCollection’类型的参数不可迭代”

Answer 1

您可以访问单词列表 side input 。我相信 beam.Filter 转换支持使用过滤器函数的侧面输入，其方式与示例中的 FlatMap 和 ParDo 完全相同该链接。

类似于:

words | beam.Filter(lambda x, filter_terms: word in filter_terms,
                    filter_terms=pvalue.AsList(p | beam.io.ReadFromText(path)))