aws-glue - AWS Glue Crawler 命名约定

Question

我尝试抓取的 s3 路径中有许多项目(使用根路径 s3://my-bucket/somedata/ )

s3://my-bucket/somedata/20180101/data1/stuff.txt.gz
s3://my-bucket/somedata/20180101/data2/stuff.txt.gz
s3://my-bucket/somedata/20180101/data1.sql
s3://my-bucket/somedata/20180101/data2.sql  
s3://my-bucket/somedata/20180102/data1/stuff.txt.gz
s3://my-bucket/somedata/20180102/data2/stuff.txt.gz
...

有时我们的表是根据日期模式命名的(例如 20180101 )；有时它们根据叶级“文件夹”(例如 data1 )命名，有时根据文件(例如 data1.sql )命名，并且当出现冲突时，Glue 似乎只是将唯一标识符附加到表名(例如 data1_c17b2f988649f2171b24b1d35da7f2b4 )。

这里的逻辑是什么？这些名称是确定性的吗？我应该使用哪些模式来构建我的数据，以便爬虫可以按某种逻辑顺序对事物进行编目？

Answer 1

您需要标准化路径以正确获取名称，例如

s3://my-bucket/Customer/Customer_20180101/customer.csv 
s3://my-bucket/Customer/Customer_20180102/customer.csv 
s3://my-bucket/Customer/Customer_20180103/customer.csv 
s3://my-bucket/Customer/Customer_20180104/customer.csv 
s3://my-bucket/Customer/Customer_20180105/customer.csv

将使用 Glue 爬虫加载 Customer 表中的所有文件，一旦您将爬虫指向 s3 上的 Customer 文件夹