amazon-web-services - Redshift 外部表和 Redshift Spectrum 之间有什么区别

Question

阅读完文档后，我发现很难理解这两件事如何结合在一起或者它们是否是同一件事？

Spectrum 是底层技术名称，外部表位于其之上吗？您可以在不使用 Redshift Spectrum 的情况下使用外部表吗？如果不同的话，有什么区别？

Answer 1

要在 Redshift (RS) 中使用任何数据，您需要定义数据的架构。这是通过表完成的，就像在传统数据库(例如 MySQL)中一样。

RS Spectrum (RSS) 允许您直接与 S3 中的数据交互(无需将其COPY到 RS)。但要与该数据交互，您需要定义其架构，因为 RS 无法处理未定义的数据。这是通过外部表 (ET) 完成的。因此 ET 与常规 RS 表相同，只是数据存储在 S3 中，而不是存储在 RS 节点中。

回答您的问题:

Can you use External Tables without using Redshift Spectrum

不，你不能。 ET仅用于RSS查询S3中的数据，没有其他外部数据源。对于从 S3 以外的其他来源(例如 MySQL、PostgreSQL)查询数据，有 federated queries .

但事实恰恰相反。如果您在 AWS Glue 数据目录中定义了表，则可以使用 RSS，而无需手动创建 ET。

If they are different, what is the difference?

ET 描述数据的架构(列名称及其数据类型)及其在 S3 中的位置。 RSS 是 AWS 在后端使用的计算引擎，用于实际执行您对 S3 数据的查询。