apache-spark - Spark : How to increase drive size in slaves

Question

如何使用每个具有 100GB 驱动器的从属启动集群。

./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \
--zone=us-east-1b  --spark-version=1.6.1 \
--vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \
 launch cluster-test

我使用了一个大小为 100GB 的 AMI；然而，Spark 调整了它的大小并启动​​了一个 8GB 的​​驱动器。如何将该限​​制增加到 100GB？

Answer 1

这解决了问题，但问题仍然寻求答案以避免首先出现此问题。

事实证明，EBS 卷是 100GB，但其上的图像只有 8GB。这就是为什么它只被视为 8GB。要在磁盘上传播图像，此 blog详细描述了如何做。另外，这个SO answer也很有帮助。