google-cloud-platform - 如何自动启动 AI-Platform 作业？

Question

我创建了一个训练作业，我从大查询中获取数据、执行训练和部署模型。我想在这两种情况下自动开始训练:

1. 向数据集添加了 1000 多个新行
2. 有时间表(例如，每周一次)

我检查了 GCP Cloud Scheduler，但它似乎不适合我的情况。

Answer 1

Cloud Scheduler 是按计划触发培训的合适工具。 我不知道你的拦截器是什么!!

对于你的第一点，你不能。您不能放置触发器(在 BigQuery 或其他数据库上)以在 X 新行之后发送事件。为此，我建议您这样做:

• 使用 Cloud Scheduler 安排工作(例如每 10 分钟一次)
• 作业在 BigQuery 中执行请求并检查自上次训练作业以来的行数(最后一次训练作业的日期必须在某个地方，我建议在另一个 BigQuery 表中)
  • 如果行数 > 1000，触发你正在运行的作业
  • 否则，退出函数

如您所见，这并不容易，并且有几个注意事项:

• 部署模型时，还必须写上最新训练的日期
• 您必须对 BigQuery 执行多次请求。正确分区您的表以限制成本

这对你有意义吗？

编辑

gcloud 命令是 API 调用的“简单”包装器。尝试将参数 --http-log 添加到您的 gcloud 命令以查看调用了哪个 API 以及调用了哪些参数。

无论如何，你可以通过调用这个API来开始工作，如果你想要和示例，请使用 gcloud SDK 的 --http-log 参数!