java - 在 "infinite"循环线程中运行代理是错误的？

Question

我有一个网络爬虫，其中基本布局是一个管理器，它运行打开连接、获取内容并将其插入数据库的代理。

这些代理中的每一个都在循环中的单独线程中运行，直到用户发送停止信号。这些代理从管理代理那里获取任务。

问题是，如果代理中发生异常，则无法将其抛出到接口(interface)(除非我使用某些观察者来发出异常发生的信号)。

我认为这种设计是错误的，正确的是创建一个有限任务并将它们放入执行器中(为每个 URL 创建一个任务以打开连接、获取内容或插入数据库)。

我是对的，我当前的设计是错误的，必须更改布局？当不同的代理执行不同的工作部分时，多线程使用的正确布局是什么？

Answer 1

是的，我认为您应该使用Executors。如果您提交 Callable 类，则可以从蜘蛛代理中抛出异常并检查返回的 Future ，这会导致异常被抛出给作业提交者，以便可以记录或显示异常到您的用户界面。

ExecutorService pool = Executors.newFixedThreadPool(10);
Future<Void> future = pool.submit(new Callable<Void>() {
    public Void call() throws Exception {
       // your agent code goes here
       // this can throw an exception in this block which will be re-thrown below
       return null;
    }
});
...
try {
   // then the exception will be thrown here for you to catch and log
   future.get();
} catch (ExecutionException e) {
   // log the e.getCause() here
}
...
pool.shutdown();