gpt4 book ai didi

hadoop - 我们可以将s3存储桶的输入路径用于映射器和化简器以运行MR作业吗?

转载 作者:行者123 更新时间:2023-12-02 22:03:04 26 4
gpt4 key购买 nike

我想指出我的映射器和化简器从s3存储桶中读取输入文件,并将结果存储在EMR集群中。
做这个的最好方式是什么?

最佳答案

你只是give s3://bucket/key syntax for your inputs and outputs

您不需要Hadoop to read/write to S3的EMR

但是,如果这样做,则可以使用Consistency View来should use EMRFS以更快地读取S3

关于hadoop - 我们可以将s3存储桶的输入路径用于映射器和化简器以运行MR作业吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48334663/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com