google-cloud-platform - 对 GCP Dataproc softwareConfig 值感到困惑

Question

我正在尝试修改 Airflow 的 dataproc 运算符，以将 Anaconda 和 Jupyter 包含到集群中。

我正在覆盖 DataprocClusterCreateOperator包括可选组件。

阅读后Google docs我知道我需要通过一个枚举；每次我尝试运行此任务时，都会遇到无效值错误，或 TypeError: Object of type 'EnumMeta' is not JSON Serialable

如果有人能告诉我如何正确通过此字段，我将非常感激。

        cluster_data = {
            'projectId': self.project_id,
            'clusterName': self.cluster_name,
            'config': {
                'gceClusterConfig': {
                },
                'masterConfig': {
                    'numInstances': self.num_masters,
                    'machineTypeUri': master_type_uri,
                    'diskConfig': {
                        'bootDiskType': self.master_disk_type,
                        'bootDiskSizeGb': self.master_disk_size
                    }
                },
                'workerConfig': {
                    'numInstances': self.num_workers,
                    'machineTypeUri': worker_type_uri,
                    'diskConfig': {
                        'bootDiskType': self.worker_disk_type,
                        'bootDiskSizeGb': self.worker_disk_size
                    }
                },
                'secondaryWorkerConfig': {},
                'softwareConfig': {
                         # I've tried the following:
                        'optionalComponents': 'ANACONDA,JUPYTER'
                         #from google.cloud.dataproc_v1 import enums
                         'optionalComponents': [enums.Component.ANACONDA.value]
                },
            }
        }

Answer 1

您想在此处使用 JSON 列表['ANACONDA', 'JUPYTER']。

作为弄清楚如何构建事物的一般指导，您可以使用 gcloud 创建一个集群，然后运行:

gcloud dataproc clusters describe my-cluster --format json

--format json 是关键。结果应该可以直接复制粘贴。