azure - 如何在 Azure 数据工厂 SFTP 中使用通配 rune 件名？

Question

我正在使用数据工厂 V2，并创建了一个位于第三方 SFTP 中的数据集。 SFTP 使用 SSH key 和密码。我使用 key 和密码成功创建了 SFTP 连接。我现在可以在数据工厂中浏览 SFTP，查看服务上的唯一文件夹并查看该文件夹中的所有 TSV 文件。

当然，Azure 数据工厂会询问要导入的文件的位置。我使用“浏览”选项来选择我需要的文件夹，但不选择文件。我想对文件使用通配符。

当我选择在文件夹后执行 *.tsv 选项时，我在预览数据时遇到错误。当我返回并指定文件名时，我可以预览数据。因此，我知道如果不使用通配符，Azure 可以连接、读取和预览数据。

查看 Azure 的文档，我发现他们建议不要在数据集属性中指定文件夹或通配符。我跳过它并直接转到新的管道。使用复制，我将复制事件设置为使用 SFTP 数据集，指定通配 rune 件夹名称“MyFolder*”和通配 rune 件名(如文档中的“*.tsv”)。

我收到错误消息，提示我在发布时需要在数据集中指定文件夹和通配符。因此，我返回数据集，指定文件夹并指定 *.tsv 作为通配符。

在所有情况下:这是我在管道或数据集中预览数据时收到的错误。

Can't find SFTP path '/MyFolder/*.tsv'. Please check if the path exists. If the path you configured does not start with '/', note it is a relative path under the given user's default folder ''. No such file .

为什么这么复杂？我在这里缺少什么？数据集可以连接并查看单个文件:

/MyFolder/MyFile_20200104.tsv

但是当你将其设置为时失败

/MyFolder/*.tsv

Answer 1

我经常使用 Copy 从 SFTP 源提取数据。您在问题中提到，文档说不要在数据集中指定通配符，但您的示例就是这样做的。相反，您应该在复制事件源设置中指定它们。

在我的实现中，数据集没有参数，也没有在目录和文件框中指定值:

在“复制”事件的“源”选项卡中，我指定了通配符值。这些可以是文本、参数、变量或表达式。我在下面突出显示了我最常使用的选项。