java - 自定义 Google 数据流选项

Question

由于预期流量非常小，因此需要最少资源的数据流。所需的值为:1vCPU、1GB 内存 和 30GB 存储 - 标准永久磁盘.

如何创建这样的数据流？到目前为止我所拥有的内容如下:

    DataflowPipelineOptions options = PipelineOptionsFactory.as(DataflowPipelineOptions.class);
    options.setProject("project-id");
    options.setRunner(DataflowRunner.class);
    //Begin: Autoscalling --disable
    options.setAutoscalingAlgorithm(DataflowPipelineWorkerPoolOptions.AutoscalingAlgorithmType.NONE);
    options.setNumWorkers(1);
    //End: Autoscalling
    options.setStreaming(true);
    options.setAppName("");
    options.setMaxNumWorkers(1);

哪里可以在数据流选项中指定vCPU、内存和存储 - 标准永久磁盘等资源？

更新

我是 GCP 的新手，任何批评都可以接受

Answer 1

来自Javadocs

setDiskSizeGb

Remote worker disk size, in gigabytes, or 0 to use the default size.

还有...

setWorkerMachineType

Machine type to create Dataflow worker VMs as.

See GCE machine types for a list of valid options.

If unset, the Dataflow service will choose a reasonable default.

列出了允许的机器类型 here ，根据您的需求(“1vCPU，1GB 内存”)，这是最接近的匹配:n1-standard-1。

因此，如果您在 DataflowPipelineOptions 上调用以下方法...

options.setDiskSizeGb(30);
options.setWorkerMachineType("n1-standard-1");

...那么您的数据流工作线程将在具有 1 个 CPU 和 3.75GB 内存的虚拟机上运行，​​并且它们将使用 30GB 的存储磁盘。