gpt4 book ai didi

apache-spark - AWS 上的 Spark HDFS 大小?

转载 作者:行者123 更新时间:2023-12-03 03:33:19 25 4
gpt4 key购买 nike

我使用 --ebs-vol-size=1000 运行 spark-ec2 脚本(并且附加了 1000GB 卷),但是当我运行 hadoop 时dfsadmin -report 仅显示:

Configured Capacity: 396251299840 (369.04 GB)

每个节点。如何增加空间或告诉 HDFS 使用全部容量?

最佳答案

运行 lsblk 并查看卷的安装位置。大概是vol0。在 hdfs-site.xml 中,将/vol0 添加到现有默认值的逗号后面的 dfs.data.dir 值。将其复制到所有从站并重新启动集群。您现在应该看到满容量

关于apache-spark - AWS 上的 Spark HDFS 大小?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28249397/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com