amazon-web-services - 亚马逊网络服务数据管道

Question

我们可以在配置数据管道时使用现有的 ec2 实例详细信息吗？如果可能，那么我们在创建管道时需要提供哪些 ec2 详细信息？

Answer 1

是的，这是可能的。根据 AWS 支持。

“您可以在您管理的计算资源上安装 Task Runner，例如 Amazon EC2 实例、物理服务器或工作站。Task Runner 可以安装在任何兼容的硬件或操作系统上的任何位置，前提是它可以通信使用 AWS Data Pipeline Web 服务。

例如，当您想使用 AWS Data Pipeline 处理存储在组织防火墙内的数据时，这种方法会很有用。通过在本地网络中的服务器上安装 Task Runner，您可以安全地访问本地数据库，然后轮询 AWS Data Pipeline 以运行下一个任务。当 AWS Data Pipeline 结束处理或删除管道时，Task Runner 实例会继续在您的计算资源上运行，直到您手动将其关闭。任务运行程序日志在管道执行完成后仍然存在。”

我自己做了这个，因为启动管道需要一段时间，这个启动时间可能是 10-15 分钟，具体取决于未知因素。

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-how-task-runner-user-managed.html