aws-glue - 胶水 S3 目标路径匹配两级特定子文件夹

Question

bucket/
├── seoul/
│   ├── weather/
│   │   └── data.json
│   └── gdp/
│       └── data.json
├── tokyo/
│   ├── weather/
│   │   └── data.json
│   ├── gdp/
│   │   └── data.json
│   └── transit/
│       └── data.json
├── seattle/
│   ├── weather/
│   │   └── data.json
│   └── cost-of-living/
│       └── data.json
├ ....

我想爬所有 weather我存储桶中的数据。
如 AWS Doc 中所述，我将我的 S3 目标路径设置为

s3://bucket/*/weather

但是，胶水爬虫不匹配任何数据。创建 0 个表。我应该如何设置粘合目标，以便我可以收集所有天气数据？

Answer 1

排除模式支持全局模式。因此，对于您的情况，请尝试将目标设置为 s3://bucket/并为 */gdp/**,*/transit/**,*/cost-of-living/** 添加排除项