google-cloud-dataflow - 从 Dataflow 中的压缩文件中读取

Question

有没有办法(或任何类型的黑客)从压缩文件中读取输入数据？
我的输入包含数百个文件，这些文件是用 gzip 压缩生成的，解压缩它们有些乏味。

Answer 1

Dataflow 现在支持从压缩文本源中读取(从 this commit 开始)。具体来说，可以通过指定压缩类型来读取使用 gzip 和 bzip2 压缩的文件:

TextIO.Read.from(myFileName).withCompressionType(TextIO.CompressionType.GZIP)

但是，如果文件具有 .gz 或 .bz2 扩展名，则您无需执行任何操作:默认压缩类型为 AUTO，它会检查文件扩展名以确定文件的正确压缩类型。这甚至适用于 glob，其中由 glob 生成的文件可能是 .gz、.bz2 和未压缩的混合。