gpt4 book ai didi

google-cloud-platform - Google Cloud Dataprep可以监控GCS路径中是否有新文件吗?

转载 作者:行者123 更新时间:2023-12-04 13:04:21 25 4
gpt4 key购买 nike

Google Cloud Dataprep看起来很棒,我们已经使用它手动导入静态数据集,但是我想执行一次以上,以便它可以使用上载到GCS路径的新文件。我可以看到您可以为Dataprep设置时间表,但是在导入设置中的任何地方都看不到它将如何处理新文件。

这可能吗?似乎很明显的需求-希望我错过了一些明显的东西。

最佳答案

您可以通过在数据集期间单击文件夹左侧的+图标来将GCS路径添加为数据集(请参见屏幕截图)。当为使用此数据集的流设置计划作业时,该目录中的所有文件(包括新文件)将在每次计划作业运行时获取。

enter image description here

关于google-cloud-platform - Google Cloud Dataprep可以监控GCS路径中是否有新文件吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47546097/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com