gpt4 book ai didi

hadoop - 带有本地 Hadoop 集群的 Amazon S3

转载 作者:可可西里 更新时间:2023-11-01 16:15:10 27 4
gpt4 key购买 nike

我在 Amazon S3 中有大约 40 TB 的数据,我需要使用 Map Reduce 对其进行分析。我们当前的 IT 政策没有为此提供 Amazon EMR 帐户,因此我必须依赖本地管理的 Hadoop 集群。当我们的数据实际存储在 S3 上时,我想获得有关是否建议使用本地 Hadoop 集群的建议?

最佳答案

请查看https://wiki.apache.org/hadoop/AmazonS3关于如何使用 S3 替代 HDFS。您可以选择 S3 Native FileSystemS3 Block FileSystem

关于hadoop - 带有本地 Hadoop 集群的 Amazon S3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23046882/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com