Azure 数据工厂 V2 - 无法将通配 rune 件名与动态内容文件路径组合。是否有 databricks (ADB) 解决方案或其他 ADF 解决方案？

Question

我目前有一个上游进程，它将近乎随机数量的 .zip 文件转储到 Azure Data Lake Storage，每个文件夹的名称类似于 FILES/PROCESSING/2019/04/19。

我创建了一个 Azure 数据工厂 V2 (ADF) 复制数据进程来动态抓取“今天”文件路径中的任何文件，但组合动态内容文件路径和通配 rune 件名存在支持问题，如下所示。

ADF 中有解决此问题的方法吗？

谢谢!

这是我的链接服务的动态文件路径，其中包含通配 rune 件名:

FILES/PROCESSING/@formatDateTime(utcnow(),'yyyy')/@formatDateTime(utcnow(),'mm')/@formatDateTime(utcnow(),'dd')

通配符是:

/*.zip

我希望该进程能够运行，但却收到此错误消息:

Activity CopyNewFiles failed: Failure happened on 'Source' side. ErrorCode=UserErrorFileNotFound,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Cannot find the 'Azure Data Lake Store' file. . Service request id: c0266e28-d841-40b7-b177-e67d5e5388a1 Response details: {"RemoteException":{"exception":"FileNotFoundException","message":"File/Folder does not exist: /FILES/PROCESSING/2019/04/30 [c0266e28-d841-40b7-b177-e67d5e5388a1][2019-04-30T12:08:55.0353825-07:00]","javaClassName":"java.io.FileNotFoundException"}},Source=Microsoft.DataTransfer.ClientLibrary,''Type=System.Net.WebException,Message=The remote server returned an error: (404) Not Found.,Source=System,'

只有文件路径存在。如果我运行直接指向没有动态内容的文件的手动进程，它运行得很好。

我浏览了 ADF 文档，试图了解这是否是一个已知错误，但我没有看到任何符合要求的内容。

Answer 1

这应该适用于您的路径:

@Concat('FILES/PROCESSING/',utcnow('yyyy/MM/dd'))

文件位中的

和*.zip。

开头只有一个@。

您可以像您一样在公式中嵌入函数，但是您需要在每个管道周围放置大括号，如下所示，然后直接将值替换到代码中，而无需连接:

FILES/PROCESSING/@{formatDateTime(utcnow(),'yyyy')}/@{formatDateTime(utcnow(),'MM')}/@{formatDateTime(utcnow(),'dd')}/*.zip

还要注意月份的大写 MM，mm 是分钟:)