java - 从网站提取数据的方法？

Question

我想从网站获取数据(例如，姓名、身份证号和某人正在使用的资源列表)并将其发布到另一个网站。

我想做的是使用 cURL 从一个网站上现有的 REST api 获取信息。然后，我想做的是编写一个程序或 API 将该信息发布到另一个网站上。

使用 cURL 后，我如何/在哪里存储该信息，以便我可以通过其他程序使用它？编写一个程序从第一个网站提取信息并将其发布到另一个网站会更容易吗？如果是这样，是否可以使用 Java 来做到这一点/给出如何做到这一点的想法？我不是要代码，只是要执行此操作的方法。我正在使用 Eclipse for Java Web EE 开发人员的 IDE。

Answer 1

我会把它写成 2-3 个程序。一种提取数据，一种格式化数据(如果需要)，一种发布数据。

我的直觉告诉我，最简单的方法是使用纯 bash 脚本。但如果您想使用 Java 来实现此目的，也可以。

我会将输出保存在文件中，供发布者读取。这样做的好处是让您可以在其他 2 个程序运行的情况下编写/测试海报。也就是说，我建议您先编写 get-er 程序。这样您就知道您真正处理的数据是什么。

现在，如果您碰巧用 java 编写了格式化程序和 poster，我会将其编写为一个程序，而不是在它们之间“管道”文件。格式化程序将读入文件，将其转换为数据结构/类，然后发布者将读取该数据结构/类。

这与我之前的段落只是表面上的不同。要点是每个“部分”都是彼此独立的。这使您可以在不运行整个事物的情况下测试一部分。这才是最重要的。

至于如何/在哪里存储来自 get-er 的信息，只需将其重定向到一个文件即可。 Here's a tutorial on how.

说实话，我无法判断您使用的是 linux cURL 程序还是 java implementation like this one 。根据这个情况，我的答案会非常不同。