google-bigquery - 如何从 Google BigQuery 将数据加载到 Google Cloud Bigtable

Question

我需要将数据填充到 Google Cloud Bigtable 中，数据源将是 Google BigQuery。

作为练习，我能够 read the data from BigQuery作为一个单独的练习，我能够 write data into Bigtable as well .

现在我必须将这 2 个操作合并到一个 Google Cloud Dataflow 作业中。任何示例都会有很大帮助。

Answer 1

您可以只使用这些示例中所示的转换，在两者之间添加您需要的任何逻辑，例如:

Pipeline p = Pipeline.create(options);
 .apply(BigQueryIO.Read.from("some_table"))
 .apply(ParDo.of(new DoFn<TableRow, Row>() {
   public void processElement(ProcessContext c) {
     Row output = somehowConvertYourDataToARow(c.element());
     c.output(output);
   }
   })
 .apply(BigtableIO.Write.withTableId("some_other_table");