gpt4 book ai didi

amazon-s3 - 在EC2上托管的Apache Spark中使用AWS EMRFS

转载 作者:行者123 更新时间:2023-12-02 11:43:59 24 4
gpt4 key购买 nike

如果我在ec2(或kubernetes)上运行spark,是否可以使用s3 / emrfs代替hdfs?这个产品准备好了吗,是否使用并行机制从s3中读取/处理数据?

提前致谢

最佳答案

不,EMRFS仅适用于EMR,这是使S3看起来像HDFS一部分的简单方法。对于EC2,您可以连接到S3,但这要比使用EMR容易。 S3未与EC2紧密耦合。是的,应用了并行性,但并不根据MR数据的位置,工作人员和数据节点。

关于amazon-s3 - 在EC2上托管的Apache Spark中使用AWS EMRFS,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53914909/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com