gpt4 book ai didi

databricks - 从 Databricks Autoloader 获取已加载文件的列表

转载 作者:行者123 更新时间:2023-12-05 04:40:34 26 4
gpt4 key购买 nike

我们可以使用Autoloader跟踪是否已从 S3 存储桶加载的文件。我关于 Autoloader 的问题:有没有办法读取 Autoloader 数据库以获取已加载文件的列表?

我可以在 AWS Glue 作业书签中轻松执行此操作,但我不知道如何在 Databricks Autoloader 中执行此操作。

最佳答案

.load("path")
.withColumn("filePath",input_file_name())

例如,您可以将 filePath 插入流接收器,然后从那里获取不同的值,或者使用 forEatch/forEatchBatch,例如将其插入 spark sql 表

关于databricks - 从 Databricks Autoloader 获取已加载文件的列表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/70244618/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com