hadoop - Hive - 外部表创建

Question

我正在学习 Hive 并阅读了一篇关于何时使用 HIVE 外部表的文章并提到了下面的声明。

查询存储在外部系统如amazon s3的数据 - 避免将该数据放入 HDFS

任何人都可以详细说明以上声明。 “避免将该数据导入 HDFS”？加载数据本地命令将有助于将本地文件加载到 HDFS 和 HIVE 正在应用顶部的格式。
是否可以访问HDFS之外的数据？

Answer 1

is it possible to access the data which is out of HDFS?

HIVe 可以读取任何 Hadoop 兼容文件系统上的数据，而不仅仅是 HDFS。

Can someone elaborate above statement. "Avoid brining in that data into HDFS "?

以S3为例，你可以创建一个外部表，位置为s3a://bucket/path，除非你真的需要读取速度，否则不需要将它带到HDFS HDFS 与 S3 的比较。然而，要将数据集持久保存在一个短暂的云集群中，结果应该写回到任何提供的长期存储中。