azure-data-factory - 当源中没有可用文件时，Azure 数据工厂管道失败

Question

目前——我们将数据从 Hadoop 内部部署服务器加载到 SQL DW [通过 ADF Staged Copy 和 DMG 内部部署服务器]。我们注意到 ADF 管道出现故障——当 Hadoop 内部部署服务器位置中没有文件时[我们不希望我们的上游每天发送文件，因此在 Hadoop 内部部署服务器位置上有零文件的有效场景] .
你有这种情况的解决方案吗？
下面给出的错误信息

Failed execution Copy activity encountered a user error:ErrorCode=UserErrorFileNotFound,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Cannotfind the 'HDFS' file.,Source=Microsoft.DataTransfer.ClientLibrary,''Type=System.Net.WebException,Message=Theremote server returned an error: (404) Not Found.,Source=System,'.

谢谢，
阿拉文

Answer 1

可以通过使用 ADFv2 元数据任务检查文件是否存在，然后在文件或文件夹不存在时跳过复制事件来解决此要求:

https://docs.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity