amazon-web-services - 最佳实践 : AWS ftp with file processing

Question

我正在寻找有关 AWS 架构决策的方向。我的目标是允许用户将文件通过 ftp 传输到 EC2 实例，然后对该文件运行一些分析。我的重点是尽可能以面向服务的方式构建它。并在未来将其扩展到多个客户端，每个客户端都有自己的 ftp 服务器和处理队列，不会混合数据。

目前我有一个安装了 vsftpd 的开发 EC2 实例和一个运行 Chokidar 的 node.js 进程，该进程不断监视要删除的新文件。当该文件丢失时，我希望通知另一台服务器或服务器组获取该文件并进行处理。

ftp 服务器是否应该将文件移动到 S3，然后使用 SQS 让处理服务器池知道它已准备好进行处理？我应该使用 SQS，然后让服务器池通过 ssh 进入 ftp 实例(或其他方法)来获取文件，而不是使用 S3 作为中介吗？有更好的方法吗？

非常感谢任何指导。随时向我传授任何可能在高文件量时节省资金的替代想法。

Answer 1

我会把它分成小的组件。

• 负载均衡器
• 缩放组中的 FTP 服务器
• FTP 服务器上的守护进程移动到 S3，然后排队作业
• 伸缩组中的处理服务器

这样您就可以在必要时扩展 ftp 服务器，或扩展处理服务器(在 SQS 队列长度或处理器利用率上)。您最终可能会得到一个 ftp 服务器和 5 个处理服务器，反之亦然 - 但至少这样您只能在瓶颈处进行扩展。

您可能想要查看的另一件事是 DataPipeline - 它(虽然不知道您工作的细节)听起来像是为您的用例量身定制的。

S3 和队列很便宜，它让您可以更精细地控制不同的组件，以便根据需要进行扩展。围绕通配符策略和 IAM 可能存在一些智能，您也可以使用它来加强数据隔离。