amazon-web-services - AWS Athena 如何对 S3 文件中的架构更改使用react？

Question

在 AWS Athena 中为 S3 上的文件创建表后，如果 S3 上的文件结构发生变化，会发生什么情况？

例如:

如果在创建表时文件以前有 5 列，后来新文件开始多出 1 列:
a) 最后？
b) 介于两者之间？

当某些列在新文件中不可用时会发生什么？

当列保持不变但列顺序发生变化时会发生什么？

我们可以更改 Athena 表以适应这些变化吗？

Answer 1

1 - Athena 不是 NoSQL 解决方案。它也不是动态模式。如果更改架构，则特定文件夹中的所有文件都应反射(reflect)该更改。雅典娜不会神奇地更新以包含它。

2 - 那么这将是一个问题，它会坏掉。您应该包括 NULL或 ,,强制它没事。

3 - Athena 按列顺序选取。不是按名字，真的。如果您的列顺序发生变化，它可能会中断(不同类型)。

4 - 是的。您始终可以通过删除 Athena 表并创建一个新表来轻松地重新创建它。

如果您有可变长度的文件，那么您应该将它们插入到不同的文件夹中，以便每个文件夹代表一个一致的架构。然后，您可以稍后在 Athena 中使用 union 将其统一起来。或类似的方法来创建一个可以应用一致架构的精简、简化的表。