python - Aws Glue - S3 - native Python

Question

在 AWS Glue 中，如何处理来自 S3 且每周都会更改的文件。

示例:第一周:“filename01072018.csv”第 2 周:“filename01142018.csv”

这些文件以相同的格式设置，但我需要 Glue 能够每周更改一次，以便将此数据从 S3 加载到 Redshift 中。 Glue 的代码使用原生 Python 作为后端。

Answer 1

AWS Glue 爬网程序应该能够按照命名方式找到您的 CSV 文件，而无需您进行任何配置。

例如，我的 Kinesis 流生成的文件的路径和名称如下所示:

my_events_folder/2018/02/13/20/my-prefix-3-2018-02-13-20-18-28-112ab3f0-5794-4f77-9a84-83efafeecabc
my_events_folder/2018/02/13/20/my-prefix-2-2018-02-13-20-12-00-7f2efb62-827b-46a6-83c4-b4c52dd87d60
...

AWS Glue 只是查找这些文件并自动对它们进行分类。希望这会有所帮助。