Azure 数据工厂 |从 SFTP 到 Blob 的增量数据加载-6ren

Azure 数据工厂 |从 SFTP 到 Blob 的增量数据加载

转载作者：行者123 更新时间：2023-12-05 03:05:49

25

4

我创建了一个(一旦运行)DF (V2) 管道，用于将文件 (.lta.gz) 从 SFTP 服务器加载到 azure blob 中以获取历史数据。干得漂亮。SFTP服务器上每天都会有几个新文件(无法操作或删除)。所以我想创建一个增量加载管道，每天检查新文件 - 如果是的话 ---> 复制新文件。

有人可以告诉我如何实现这一目标吗？

最佳答案

感谢您使用数据工厂!

要在 SFTP 服务器上增量加载新生成的文件，您可以利用 GetMetadata 事件来检索 LastModifiedDate 属性: https://learn.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity

本质上，您编写了一个包含以下事件的管道:

getMetadata(返回给定文件夹下的文件列表)
ForEach(遍历每个文件)
getMetadata(返回给定文件的最后修改时间)
IfCondition(将lastModifiedTime与触发器WindowStartTime进行比较)
复制(将文件从源复制到目标)

享受使用数据工厂构建数据集成流程的乐趣!

关于Azure 数据工厂 |从 SFTP 到 Blob 的增量数据加载，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/50298122/

25

4

0

文章推荐： typescript - 枚举在 Typescript 中实现接口(interface)的所有类

文章推荐： python-3.x - 以列表格式获取 KMeans 之后的聚类点

文章推荐： C - 将 void* 转换为 int 内核的最佳实践

文章推荐： visual-studio-code - VS Code扩展，如何不区分大小写？

javascript - 将一个服务(工厂)注入(inject)另一个服务(工厂)，两者都是异步的
我应该执行以下操作: 可能通过服务/工厂，使用 $q(异步)查询 API 以获取大型名称数据集有另一个服务(也是异步的)，它应该只返回上述工厂的元素，如果它们与某个字符串(搜索字段)匹配。目的是缩小
通用基类具体实现的c#工厂
我有一个通用的基类。我有一个实现基类的具体类。我将如何创建工厂类/方法来交付不同类型的具体类？举个例子: public class ReceiverBase where T : IInte
派生类型的 Ninject 工厂
我正在查看以下链接中的 Ninject Factory 扩展: http://www.planetgeek.ch/2011/12/31/ninject-extensions-factory-intro
oop - 工厂、提供商和服务之间的区别？
工厂、提供商和服务这三个术语之间有什么区别？刚刚了解 NHibernate 及其存储库模式(POCO 类等)。最佳答案工厂:通过将一堆位组合在一起或基于某种上下文选择类型来组装类 Provide
Javassist 工厂 - 设置自定义类加载器
使用CGLIB我可以做到 final var enhancer = new Enhancer(); enhancer.setUseCache(false); enhancer.setSuperclas
内部嵌套类的 Kotlin 工厂
我试图在 Kotlin 中使用伴随对象工厂方法(相当于 Java 中的静态工厂方法)创建一个嵌套内部类。这是我的代码的简化版本。 class OuterClass { var myData:L
具有泛型类型的 Java 工厂
我正在为我的大学做一个项目，但遇到了问题。基本上，该项目由一个客户端-服务器应用程序组成，我想创建一个用于通信的 Packet 类。数据包由 header 和主体组成。现在问题来了。我可以有一些不同
具有继承性的 C++ 工厂
这个问题在这里已经有了答案: Why doesn't polymorphism work without pointers/references? (6 个答案) What is object sl
C++ 工厂。子构造函数不能从父访问
我正在制作一个套接字工厂。我希望每个外部应用程序都使用 Socket 类的接口(interface)，它是几个类(ServerSocketTCP、ClientSocketTCP、ServerSocke
javascript - AngularJS 工厂
我是 angularjs 的新手，我正在尝试创建一个小型电影数据库。这是我第一次使用工厂，我想确保这是正确的方法，以及如何在另一个功能中使用这个工厂，如下所示？我希望这个工厂只运行一次，这样我就可以
Java - 工厂，实例
这个问题在这里已经有了答案: Java inner class and static nested class (28 个答案) 关闭 5 年前。 public class DataFactory
C++(有点)工厂
我看过很多关于 C++ 工厂的帖子，但到目前为止我还没有看到解决我的问题的解决方案。 (虽然我可能遗漏了一些东西。) 示例控制台应用程序: #include #include #include
模板化单例的 C++ 工厂
这是一个简单的 C++ 项目，有 2 种设计模式:单例和工厂，sigleton 也是一个模板化类，一个接口(interface) (IHash) 和一个类 (Hash1)。一个简单的工厂类 (Hash
泛型类的 Java 工厂
这个问题类似于Factory and generics ，并且可能有相同的答案，但它是不同的。我有一个通用基类，它将由完全独立的 JAR 中的类进行扩展。所述 JAR 应该能够在不更改任何其他代码的情
带有可选参数的 JavaScript 工厂
问题是我需要为传递的类创建一个新实例有没有办法重写这个函数，让它可以接受任意数量的参数？ function createInstance(ofClass, arg1, arg2, arg3, ...
C++ createObject() 工厂
我想用简单的 C++ 语法创建一个简单的工厂方法: void *createObject(const char *str,...) { if(!strcmp("X",str)) retu
php - 工厂/抽象工厂混淆
经过大约 10 个月的程序化 PHP 学习后，我现在正尝试着手研究基本的 OOP 原则和设计模式。这是一个爱好，我没有那么多时间去追求它，所以请原谅这个问题的水平很低。我的网站(目前 100% 程序
database - Laravel 工厂 - 创建或动态化
我有一个简单的问题。我如何编写一个工厂来定义使用 make() 或 create() 的关系，具体取决于原始调用 make() 还是 create()？这是我的用例: 我有一个简单的工厂 /**
Angular:延迟加载模块不调用 InjectionToken 工厂
我正在尝试在延迟加载模块中提供 APP_BASE_HREF 注入(inject) token ，然而，工厂方法根本没有被调用。在这里https://github.com/MaurizioCascia
Typescript AST 工厂 - 如何使用注释？
我有以下 ast: import { factory as f } from 'typescript' const typeDeclaration = f.createTypeAliasDeclara

首页

博学

6Ren·AI

商城

Azure 数据工厂 |从 SFTP 到 Blob 的增量数据加载