amazon-web-services - AWS 胶水错误 "Path does not exist"

Question

每次我尝试运行一些非常简单的作业(将 s3 上的 json 导入到 Redshift)时，我都会收到以下错误:

pyspark.sql.utils.AnalysisException: u'Path does not exist: s3://my-temp-glue-dir/f316d46f-eaf3-497a-927b-47ff04462e4a;'

这不是权限问题，因为我还有其他一些(带有连接的更复杂的作业)可靠地工作。真的不确定问题可能是什么 - 任何帮助将不胜感激。

我正在使用 2 个 DPU，但尝试了 5 个。我还尝试使用不同的临时目录。此外，有数百个文件，其中一些文件非常小(几行)，但我不确定这是否相关。

Answer 1

我相信这个错误的原因只是我试图同时加载的文件数量(并且错误本身具有误导性)。禁用书签并使用数据的子集后，事情按预期工作。