haskell - 为什么我的并行遍历 Haskell 程序会泄漏内存？

Question

考虑以下 Haskell 程序(我这样做主要是为了学习目的):

import qualified Control.Concurrent.MSem as Sem
import System.Environment (getArgs)
import Control.Concurrent (forkIO)
import Control.Monad

-- Traverse with maximum n threads
parallelTraverse :: Foldable a => Int -> (b -> IO()) -> a b -> IO ()
parallelTraverse n action values = do
  sem <- Sem.new n
  forM_ values $ \value -> Sem.with sem (forkIO $ action value)

main :: IO ()
main = do
  args <- getArgs
  let nThreads = read . head $ args :: Int
  parallelTraverse nThreads print [(1::Int)..]

当我运行它时，内存迅速攀升至几 GB。我尝试了各种组合以确保丢弃中间计算的结果(打印操作)。为什么仍然泄漏空间？

Answer 1

首先，您在以下文章中有一个明显的错误:

Sem.with sem (forkIO $ action value)

您正在围绕“fork”操作而不是那里的操作从主线程寻址信号量。以下是实现它的正确方法:

forkIO (Sem.with sem (action value))

即，从 fork 线程的上下文中寻址信号量。

其次，在以下代码中，您将在无限列表上调用 parallelTraverse 操作:

parallelTraverse nThreads print [(1::Int)..]

这会导致线程的无限 fork 。由于 forkIO 操作对于调用线程来说大致是瞬时的，因此您很快就会耗尽资源也就不足为奇了。

<小时/>

要使用信号量来限制工作线程的数量，with 模式在您的情况下根本行不通。相反，您应该使用 wait 和 signal 的显式组合，并且不要忘记正确处理异常(如果您期望它们)。例如:

parallelTraverse :: Foldable a => Int -> (b -> IO()) -> a b -> IO ()
parallelTraverse n action values = do
  sem <- Sem.new n
  forM_ values $ \value -> do
    Sem.wait sem
    forkIO $ finally (action value) (Sem.signal sem)