python - 在 Apache Beam 中将 csv 转换为 dict 而不知道标题字段名

Question

给定输入 CSV(存储在本地或 Google Cloud Storage 中)

a,b,c
1,2,3
4,5,6

如何获得具有值(value)的 PCollection

{a: 1, b: 2, c: 3}
{a: 4, b: 5, c: 6}

事先不知道 CSV header 的名称？

Answer 1

这里有两个选项。
(1) 您可以使用beam.io.ReadFromText跳过标题，后跟 beam.Map(lambda line: zip(header_names, line.split(',')) .这不会处理引用等(虽然可以适应这样做，可能使用 csv 模块，但处理多行行将无法使用此方法)。
(2) 您可以使用 Beam dataframes API为此，例如

from apache_beam.dataframe.io import read_csv

with beam.Pipeline as p:
    df = p | beam.dataframe.io.read_csv("/path/to/filepattern")
    # Here you can use df as if it were a Pandas dataframe,
    # or you can convert it into a PCollection of dicts with
    # pcoll = beam.dataframe.convert.to_pcollection(df)