multithreading - 我怎样才能拥有一个所有进程都可以访问的 map ？

Question

我正在构建一个多线程网络爬虫。

我发起了一个线程，获得第一个 n href 链接并解析一些数据。然后它应该将这些链接添加到其他线程可以访问的访问列表中，并将数据添加到将在程序完成时打印的全局映射。然后线程启动新的n新线程都在做同样的事情。

如何设置所有线程都可以访问的已访问站点的全局列表以及所有线程都可以写入的全局映射。

Answer 1

您不能在进程之间共享数据。这并不意味着您不能共享信息。

通常的方法是使用一个特殊的进程(一个服务器)来负责这个工作:维护一个状态；在您的情况下，访问链接列表。

另一种方法是使用 ETS (或 Mnesia 建立在 ETS 之上的数据库)旨在在进程之间共享信息。