java - 处理大量 Http 请求的最有效方法

Question

我有一个相当直接的问题，我将执行大量 HTTP 请求以获取 XML 负载，我需要解析负载并对数据库进行一些更改。

我将非常频繁地执行这些请求，因此任何优化都会很好。

我想知道是否有更有效的方法来执行请求，因为这将花费最多的时间。我是用 Java 编写的，我使用 SAXParser 来解析 XML 有效负载以获得我需要的数据。我正在为 Http 请求使用 HttpURLConnection 类，我只是运行一个同步线程并等待每个请求。我尝试同时运行这些请求，但遇到了一些问题。我将在其上执行此操作的计算机功能非常强大，因此我不会遇到内存或处理问题。所以我的问题是:

1. 获取 XML 负载的哈希值并将其存储在数据库中或解析 XML 并手动检查数据是否更有效？
2. 有没有比 HttpURLConnection 更高效的 HttpRequests 库？
3. 是否可以通过线程化请求进行任何优化？

欢迎任何见解。

Answer 1

Would it be more efficient to take a hash of the XML payload and store it in the DB or parse the XML and check the data manually?

为 XML 负载计算哈希几乎肯定比解析它更快。这是检测您是否已有不需要重新解析的有效负载的好方法。

Is there a more efficient library for HttpRequests than HttpURLConnection?

当然，使用 Apache HttpComponents .正如 this legacy but still relevant document 中强调的那样，有几种方法可以调整它的性能。 .

Can any optimizations be made with threading the requests?

与线程相关的所有事物一样，这将取决于几个因素，包括您的硬件配置(尤其是您的网络硬件)。从理论上讲，您应该从多线程中获得一些 好处。我不会将其作为调整的第一要务。