gpt4 book ai didi

hadoop - 创建dataproc集群时报告DataNodes数量不足

转载 作者:可可西里 更新时间:2023-11-01 16:36:08 27 4
gpt4 key购买 nike

在使用 gs://作为默认 FS 创建 dataproc 集群时,我收到“报告的 DataNode 数量不足”错误。下面是我正在使用 dataproc 集群的命令。

gcloud dataproc clusters create cluster-538f --image-version 1.2 \
--bucket dataproc_bucket_test --subnet default --zone asia-south1-b \
--master-machine-type n1-standard-1 --master-boot-disk-size 500 \
--num-workers 2 --worker-machine-type n1-standard-1 --worker-boot-disk-size 500 \
--scopes 'https://www.googleapis.com/auth/cloud-platform' --project delcure-firebase \
--properties 'core:fs.default.name=gs://dataproc_bucket_test/'

我检查并确认我正在使用的存储桶能够在存储桶中创建默认文件夹。

enter image description here

enter image description here

最佳答案

正如 Igor 所建议的,Dataproc 不支持将 GCS 作为默认 FS。我还建议取消设置此属性。请注意,fs.default.name 属性可以传递给各个作业,并且可以正常工作。

关于hadoop - 创建dataproc集群时报告DataNodes数量不足,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52248139/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com