java - 在系统之间迁移大数据

Question

我需要建议来实现我的应用程序的功能。我的应用程序是一个遗留的 JSP 、 JDBC 应用程序，安装在客户端内部员工使用的客户端环境中。我有多个客户端，每个客户端都有自己的系统中安装的我的软件环境。

一项要求，在一个模块中，我们需要有一个与他们现有的外部应用程序模块的接口(interface)，以在他们的系统和我们的系统之间同步一些数据(例如用户信息、办公室信息)。

作为第一步，现在我们有一些模块，客户端可以在其中上传 CSV、EXCEL 文件并上传到我们系统的临时表。

然后在第二步中，他们使用另一个模块，其中触发指令从临时表中获取数据，该数据根据我们的数据格式进行处理，然后插入到我们的邮件表中以供我们的系统使用。

现在，我们计划为他们提供一些 API，他们可以直接将数据从系统/模块插入到临时表中，而不是上传 CSV、EXCEL 文件。这样我们就不需要负责格式化数据并加载到临时表中。

他们将访问我们的 API 并执行特定方法。

我的问题是如何做到这一点？我们已经有了一个 Web 服务，我们公开了少量的系统，只是为了修改/将数据插入到特定的表中。但恐怕通过 Web 服务 POST 调用插入/同步 40k-50k 行将是一个好主意。

最后一点是我们如何开发一个可以从任何客户端(PHP、.net、java)使用的 API，我认为 Web 服务就是解决方案。

我希望我已经解释清楚了。感谢帮助。

Answer 1

是的，您应该为您的网络服务提供批量功能。进行 50k 或更多的调用效率不高。因此，由于您已经定义了文件格式并且看起来人们很熟悉它，因此您可以编写一个以多部分形式接收文件的 WS。请参阅http://cxf.apache.org/docs/jax-rs-multiparts.html

此外，我建议异步执行此调用。您可以返回“JobId”以供将来引用。

注意1:如果您认为可以提供新格式，请使用 Json。你可以提供一些RESTFul API。带有 XML 的 SOAP 可能会产生一些开销。注意2:由于您现在使用的是HTTP。注意安全风险。