google-cloud-platform - 如何自动运行 Google Dataprep 作业？

Question

有没有办法通过 API 触发 Google Dataprep 流程？

我每天需要运行 30 个不同的流程。源数据集每天都在变化，结果必须附加到 Google BigQuery 表中。有没有办法使这个过程自动化？源文件是 .xls 文件。我可以将它们上传到云存储并编写一个云函数，将其上传到 Dataprep 需要的任何地方。问题是似乎无法替换 Dataprep 流程中的源数据集。如果是这样，那么计划运行和新的 Job Run API 有什么意义？

Answer 1

有几种方法可以做到这一点。您可能最终会结合 parameterization和 scheduling运行计划作业的功能，每次都会选择新文件。

根据您的用例，您可以做:

导入目录

如果您设置的目录只包含一个 excel 文件(见下图)，您可以使用 + button使用目录作为输入数据集。每次运行作业时，都会处理该目录中的文件。

您现在可以安排作业，创建输出目标，您应该已经准备就绪。

使用日期时间参数

假设您每天添加一个文件名中包含日期的新文件。例如在云存储中，它看起来像这样:

您可以使用 Dataprep 文件浏览器中的Parameterize 按钮并设置以下参数:

这应该选择前一天的文件:

您可以让他们导入数据集并安排流程。如果您的计划每天运行，它每次都会选取新文件。

使用变量

或者，您可以在数据集的文件路径中定义一个变量。

然后您可以使用 JobGroup API 覆盖该变量。

POST /v4/jobGroups

{
  "wrangledDataset": {
    "id": datasetId
  },
  "runParameters": {
    "overrides": {
      "data": [
        {
          "key": "folder-name",
          "value": "new folder name"
        }
      ]
    }
  }
}

---

请注意，要使其正常工作，您的文件需要具有相同的结构。参见 https://cloud.google.com/dataprep/docs/html/Create-Dataset-with-Parameters_118228628#structuring-your-data了解更多详情。

也应该可以使用通配符参数作为第一种方法的替代方法。