java - 使用 DataFlow (Apache Beam) 将 ISO-8859-1 加载到 BigQuery 时出现问题

Question

我正在尝试使用 DataFlow 将 ISO-8859-1 文件加载到 BigQuery 中。我使用 Apache Beam Java 构建了一个模板。一切正常，但当我检查 Bigquery 表的内容时，我发现一些字符(如“ñ”或重音“á”、“é”等)尚未正确存储，它们已存储为 �。

在写入 BigQuery 之前，我尝试了几种字符集更改。另外，我创建了一个特殊的 ISOCoder，使用 setCoder() 方法传递到管道，但没有任何效果。

有谁知道是否可以使用 Apache Beam 将此类文件加载到 BigQuery 中？只有 UTF-8？

预先感谢您的帮助。

Answer 1

Beam 的 Java SDK 目前不提供此功能。在Python中，这似乎可以通过在使用WriteToBigQuery时使用additional_bq_parameters来实现，请参阅:https://github.com/apache/beam/blob/master/sdks/python/apache_beam/io/gcp/bigquery.py#L177