java - 在云环境中，使用哪些技术让客户端上传要处理的文件有什么好方法？

Question

已结束。此问题正在寻求书籍、工具、软件库等的推荐。它不满足 Stack Overflow guidelines 。目前不接受答案。

---

我们不允许提出寻求书籍、工具、软件库等推荐的问题。您可以编辑问题，以便用事实和引文来回答。

已关闭 5 年前。

Improve this question

在云环境中，为客户公司提供REST API服务来存储和更新其客户信息(电话号码等)，我正在寻找一种方法让新加入的客户公司传递一个文件(或一组文件)包含所有客户。文件可能包含数百万条客户记录。

假设这个想法是文件可以上传到某个文件夹，一旦检测到，导入过程就会开始。还假设云中存在一项服务，可以根据包含详细信息的请求创建客户。假设每个文件限制为 1GB 左右。

我听说可能会使用 Yarn 或 Kubernetes，但我真的不知道如何使用它们，或者使用它们的优势是什么。

这个导入过程可以用纯 Java 完成，如下所示:Java 中的文件夹监视代码可以轻松检测文件夹中的新文件，并调用读取文件记录的进程，并从文件，创建请求对象并调用可以创建客户的服务。

那么，在执行这样的任务时，使用 Yarn 或 Kubernetes 相对于纯 Java 有何优势？还有其他替代技术可以用于此任务吗？

Answer 1

在云环境中，您希望 Java 服务“高度可用”，并且在处理每个客户端“数百万条客户记录”时，甚至希望“安全”。这就是 Kubernetes 和 Yarn 发挥作用的地方。

如果您正在运行一台虚拟机，并且 Java 进程将未加密的敏感客户数据保存到本地文件系统 - 出现以下情况时会发生什么情况:

• 虚拟机被攻击者破坏。所有数据均已泄露。
• Java 进程崩溃。新客户无法加入。
• 虚拟机崩溃。新客户无法加入，正在进行的加入工作也会丢失。
• 导入客户数据的过程崩溃。

你明白了，失败和妥协的场景有无数种。

Kubernetes 和 Yarn 以不同的方式支持架构模式，允许您在一组 VM 上运行多个 Java 上传和导入进程，以便可以对各种故障情况进行合理的处理，并为敏感数据提供合理的托管机制。通过实时数据大规模地了解此过程的各个方面。