azure - 将最新文件夹中的文件从 azure blob 存储加载到 azure 数据仓库

Question

我是 Azure 新手，每天都会通过 SFTP 将 150 个 CSV 文件存储到 Blob 存储中，并且每天将它们存储在单独的容器中。容器编号为0000、00001、00002，包含日常文件。如何将最新文件夹中的文件加载到 azure 数据仓库中。如何将复制事件动态指向最新文件夹。最好的方法是什么？非常感谢您的帮助。

Answer 1

不幸的是，没有直接的方法来查找最新的 blob 容器。

考虑到每天都会创建一个新的 Blob 容器，并且 Blob 容器名称按顺序排列，查找最新 Blob 容器的唯一方法是列出存储帐户中的所有 Blob 容器，或者采用结果中的最后一个 Blob 容器设置或按降序对结果进行排序，并取第一个来查找最新的 blob 容器。

Blob 容器上有一个Last Modified Date 属性，但每当 Blob 容器发生更改时，该属性都会发生变化，因此您无法真正可靠地使用它来查找最新的 Blob 容器。同样，为此您需要列出 blob 容器(您根本无法避免此步骤)。