hadoop - 在 s3n 上查询 Orc 文件非常慢

Question

只要我在 hdfs 上查询我的 ORC 文件，一切都很好而且非常快 - 但是当我想查询存储在 S3 上的数据时，它非常慢并且查询无法完成。

我正在使用 Hive 0.12我的创建语句看起来像这样

CREATE external TABLE externalORCFiles (... , ... , ...)
STORED AS ORC 
location 's3n://...'; 

在我看来，ORC + Presto + S3 ( see here ) 也存在同样的问题，但我找不到与 Hive 类似的东西

Answer 1

对于冷库来说，S3是一个非常好的存储空间。然而，它并不真正适合 HDFS 空间。 S3 数据以大约 50Mbps 的速度移动(可能或多或少，但比 HDFS 慢得多)。您可以在速度和成本之间做出选择。