machine-learning - 使用 sk-learn 模型进行大查询预测

Question

我在本地计算机上创建了一个 sklearn 模型。然后我把它上传到谷歌存储上。我使用相同的模型在 AI Platform 中创建了模型和版本。它正在用于在线预测。现在我想执行批量预测并将数据存储到大查询中，例如每次执行预测时它都会更新大查询表。

有人可以建议我该怎么做吗？

Answer 1

AI Platform 目前不支持将预测结果写入 BigQuery。

您可以使用 Dataflow 将预测结果写入 BigQuery。这里有两个选项:

1. 创建数据流作业 makes the predictions itself .
2. 创建使用 AI Platform 获取模型预测的 Dataflow 作业。也许这会使用在线预测。

在这两种情况下，您都可以定义 BigQuery 接收器以将新行插入表中。

或者，您可以使用Cloud Functions每当 GCS 中出现新文件时更新 BigQuery 表。该解决方案如下所示:

1. 使用 gcloud 运行批量预测(`gcloud ml-engine 作业提交预测 ... --output-path="gs://[My Bucket]/batch-predictions/"
2. 结果写入多个文件中:gs://[My Bucket]/batch-predictions/prediction.results-*-of-NNNNN
3. 云函数为triggered解析结果并将其插入 BigQuery。 This Medium post解释如何进行此设置