google-bigquery - 如何在 Cloud ML 中从 BigQuery 而不是 csv 文件进行训练？

Question

我的训练数据在 BigQuery 中。如何使用它在 Cloud ML 中训练模型？

Answer 1

将预处理管道更改为使用 BigQuerySource (使用与 CSV 示例中相同的 Features 类)。下面是一个例子:

feature_set = CsvFeatures()
train_query = “SELECT …”
valid_query = “SELECt …”
train = pipeline | 'read_train' >> beam.Read(beam.io.BigQuerySource(query=train_query))
eval = pipeline | 'read_valid' >> beam.Read(beam.io.BigQuerySource(query=valid_query))
(metadata, train_features, eval_features) = ((train, eval) |
    ml.Preprocess('Preprocess', feature_set))