java - 将文件存储到 S3 : local file vs HDFS

Question

背景

使用 java 将文件上传到 s3 的简单古老问题

S3 不支持流式传输 (AFAIK)，因此在上传之前需要将数据分组到一些适当大小的文件中。

在创建上述这些临时文件时，就位置而言有一些选项

1. 本地一些指定目录
2. 本地在 HDFS 中(如果可能的话，我什至不知道 Hadoop 中的 H)
3. 到hadoop集群中的HDFS

问题

1. 哪个可能更快？
2. 与本地 FS 相比，使用 HDFS(本地或集群)是否有优势，HDFS 在本质上更接近 S3 格式？

技术和基础设施

EC2、Linux、Java

Answer 1

如果你本地有足够的磁盘空间，就在本地做吧。否则，您可以将数据合并到 HDFS 上您需要的存储中，然后再上传。但是，HDFS 不应该是您的首选。