java - 了解线程+异步

Question

因此，我有一个程序需要将大量(例如10,000多个)GET请求发送到一个URL，并且我希望它尽可能快。当我第一次创建程序时，我只是将连接置于for循环中，但这确实很慢，因为它必须等待每个连接完成才能继续。我想使其速度更快，所以我尝试使用线程，它使速度有所提高，但我仍然不满意。

我猜想正确的方法是使用异步连接并连接到所有URL，以使其真正快速地实现。这是正确的方法吗？

另外，我一直在尝试了解线程及其工作方式，但似乎无法理解。我所在的计算机具有Intel Core i7-3610QM四核处理器。根据英特尔网站的规范，该处理器具有8个线程。这是否意味着我可以在Java应用程序中创建8个线程，它们将同时运行？超过8并且不会增加速度吗？

在任务管理器中“性能”选项卡下“线程”旁边，数字到底代表什么？目前，我的任务管理器显示的“线程数”超过1,000。为什么是这个数字？如果那是我的处理器所支持的数字，它怎么能超过8？
我还注意到，当我尝试使用500个线程作为测试程序时，任务管理器中的数字增加了500，但是它的速度与我将其设置为使用8个线程的速度相同。因此，如果数量根据我在Java应用程序中使用的线程数而增加，那么为什么速度相同？

另外，我尝试用Java中的线程做一个小的测试，但是输出对我来说没有意义。
这是我的测试类:

import java.text.SimpleDateFormat;
import java.util.Date;

public class Test {

    private static int numThreads = 3;
    private static int numLoops = 100000;
    private static SimpleDateFormat dateFormat = new SimpleDateFormat("[hh:mm:ss] ");

    public static void main(String[] args) throws Exception {

        for (int i=1; i<=numThreads; i++) {
            final int threadNum = i;
            new Thread(new Runnable() {
                public void run() {
                    System.out.println(dateFormat.format(new Date()) + "Start of thread: " + threadNum);
                    for (int i=0; i<numLoops; i++)
                        for (int j=0; j<numLoops; j++);
                    System.out.println(dateFormat.format(new Date()) + "End of thread: " + threadNum);
            }
            }).start();
            Thread.sleep(2000);
        }

    }
}

这将产生如下输出:

[09:48:51] Start of thread: 1
[09:48:53] Start of thread: 2
[09:48:55] Start of thread: 3
[09:48:55] End of thread: 3
[09:48:56] End of thread: 1
[09:48:58] End of thread: 2

为什么第三个线程立即开始和结束，而第一个线程和第二个线程分别花费5秒钟？如果我添加了3个以上的线程，则2以上的所有线程都会发生相同的情况。

抱歉，如果这是一本长篇小说，我有很多问题。
提前致谢。

Answer 1

您的处理器具有8个核心，而不是线程。实际上，这确实意味着在任何给定时刻只能运行8件事。但这并不意味着您仅限于8个线程。

当线程正在同步打开与URL的连接时，它通常会在等待远程服务器返回到该URL时进入休眠状态。当该线程处于 hibernate 状态时，其他线程可以进行工作。如果您有500个线程并且所有500个线程都在 hibernate ，那么您就没有使用CPU的任何内核。

另一方面，如果您有500个线程，而所有500个线程都想做某事，那么它们就不可能一次全部运行。为了处理这种情况，有一个特殊的工具。处理器(或更可能是操作系统或两者的某种组合)具有调度程序，该调度程序确定在任何给定时间哪些线程将在处理器上主动运行。有许多不同的规则，有时还包括一些随机 Activity 来控制这些调度程序的工作方式。这可以解释为什么在上面的示例中线程3总是总是看起来先完成。调度程序可能更喜欢线程3，因为它是主线程要调度的最新线程，有时可能无法预测行为。

现在回答有关性能的问题。如果打开连接从不涉及 sleep ，那么无论是同步还是异步处理事情都没关系，在8个线程以上，您将无法获得任何性能提升。实际上，打开连接所涉及的许多时间都花在 sleep 上。异步和同步之间的区别在于如何处理 sleep 时间。从理论上讲，您应该能够在两者之间获得几乎相等的性能。

使用多线程模型，您只需创建比核心更多的线程即可。当线程进入休眠状态时，它们让其他线程工作。有时这会更容易处理，因为您不必编写任何调度或线程之间的交互。

使用异步模型，您只能为每个内核创建一个线程。如果该线程需要 hibernate ，则它不会 hibernate ，但实际上必须具有处理切换到下一个连接的代码。例如，假设打开一个连接(A，B，C)需要三个步骤:

while (!connectionsList.isEmpty()) {
  for(Connection connection : connectionsList) {

    if connection.getState() == READY_FOR_A {
      connection.stepA();
      //this method should return immediately and the connection
      //should go into the waiting state for some time before going
      //into the READY_FOR_B state
    }
    if connection.getState() == READY_FOR_B {
      connection.stepB();
      //same immediate return behavior as above
    }
    if connection.getState() == READY_FOR_C {
      connection.stepC();
      //same immediate return behavior as above
    }
    if connection.getState() == WAITING {
      //Do nothing, skip over
    }
    if connection.getState() == FINISHED {
      connectionsList.remove(connection);  
    }
  }
}

请注意，线程绝不会 hibernate ，因此线程多于核心没有任何意义。最终，采用同步方法还是异步方法是个人喜好的问题。只有在极端情况下，两者之间才会存在性能差异，并且您将需要花费很长时间进行性能分析，以至于这是应用程序的瓶颈。

听起来您正在创建很多线程，而没有获得任何性能提升。可能有许多原因。

您建立的连接实际上可能没有处于 hibernate 状态，在这种情况下，我不希望看到超过8个线程的性能提升。我认为这不太可能。

所有线程可能都在使用某些公共(public)共享资源。在这种情况下，其他线程无法工作，因为 sleep 线程具有共享资源。所有线程都共享任何对象吗？此对象是否有任何同步方法？

您可能有自己的同步。这可能会导致上述问题。

每个线程可能必须执行某种设置/分配工作，这会破坏您使用多个线程获得的 yield 。

如果您是我，那么当使用少量线程(20)运行时，我将使用JVisualVM之类的工具来分析您的应用程序。 JVisualVM有一个漂亮的彩色线程图，它将在线程运行，阻塞或 hibernate 时显示。这将帮助您了解线程/核心的关系，因为您应该看到正在运行的线程数少于拥有的核心数。另外，如果看到很多阻塞的线程，那么这可以帮助您找到瓶颈(如果看到很多阻塞的线程，请在那时使用JVisualVM创建线程转储，并查看阻塞了哪些线程)。