haskell - 使用 Scotty 的网络 I/O 吞吐量出乎意料地低

Question

我尝试对 Scotty 进行基准测试以测试网络 I/O 效率和整体吞吐量。

为此，我设置了两个用 Haskell 编写的本地服务器。一个什么都不做，只是充当 API 的一种。

相同的代码是

{-# LANGUAGE OverloadedStrings #-}


import Web.Scotty

import Network.Wai.Middleware.RequestLogger 

import Control.Monad
import Data.Text
import Control.Monad.Trans
import Data.ByteString
import Network.HTTP.Types (status302)
import Data.Time.Clock
import Data.Text.Lazy.Encoding (decodeUtf8)
import Control.Concurrent
import Network.HTTP.Conduit
import Network.Connection (TLSSettings (..))
import Network.HTTP.Client
import Network
main = do 
  scotty 4001 $ do
    middleware logStdoutDev
    get "/dummy_api" $ do
        text $ "dummy response"

我写了另一个服务器，它调用这个服务器并返回响应。

{-# LANGUAGE OverloadedStrings #-}


import Web.Scotty

import Network.Wai.Middleware.RequestLogger 

import Control.Monad
import Control.Monad.Trans
import qualified Data.Text.Internal.Lazy as LT
import Data.ByteString
import Network.HTTP.Types (status302)
import Data.Time.Clock
import Data.Text.Lazy.Encoding (decodeUtf8)
import Control.Concurrent
import qualified Data.ByteString.Lazy as LB
import Network.HTTP.Conduit
import Network.Connection (TLSSettings (..))
import Network.HTTP.Client
import Network


main = do 
  let man = newManager defaultManagerSettings 
  scotty 3000 $ do
    middleware logStdoutDev

    get "/filters" $ do
        response <- liftIO $! (testGet man)
        json $ decodeUtf8 (LB.fromChunks response)

testGet :: IO Manager -> IO [B.ByteString]
testGet manager = do
    request <- parseUrl "http://localhost:4001/dummy_api"
    man <- manager
    let req = request { method = "GET", responseTimeout = Nothing, redirectCount = 0}
    a <- withResponse req man $ brConsume . responseBody
    return $! a

在这两个服务器都运行的情况下，我执行了 wrk基准测试并获得了极高的吞吐量。

wrk -t30 -c100 -d60s "http://localhost:3000/filters"
Running 1m test @ http://localhost:3000/filters
  30 threads and 100 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency    30.86ms   78.40ms   1.14s    95.63%
    Req/Sec   174.05     62.29     1.18k    76.20%
  287047 requests in 1.00m, 91.61MB read
  Socket errors: connect 0, read 0, write 0, timeout 118
  Non-2xx or 3xx responses: 284752
Requests/sec:   4776.57
Transfer/sec:      1.52MB

虽然这明显高于 Phoenix 等其他 Web 服务器，但我意识到这没有任何意义，因为大多数响应是由于文件描述符耗尽而发生的 500 错误。

我检查了非常低的限制。

ulimit -n
256

我将这些限制增加到

ulimit -n 10240

我再次运行 wrk，这一次显然吞吐量已大大降低。

wrk -t30 -c100 -d60s "http://localhost:3000/filters"
Running 1m test @ http://localhost:3000/filters
  30 threads and 100 connections
  Thread Stats   Avg      Stdev     Max   +/- Stdev
    Latency   105.69ms  161.72ms   1.24s    96.27%
    Req/Sec    19.88     16.62   120.00     58.12%
  8207 requests in 1.00m, 1.42MB read
  Socket errors: connect 0, read 0, write 0, timeout 1961
  Non-2xx or 3xx responses: 1521
Requests/sec:    136.60
Transfer/sec:     24.24KB

尽管 500 个错误的数量减少了，但它们并没有被消除。我对 Gin 进行了基准测试和凤凰城，他们比 Scotty好得多而没有给出任何 500 个响应。

我错过了什么拼图？我怀疑有一个我无法调试的问题。

我了解 http-conduit与这些错误有很大关系， http-client库在引擎盖下使用它，这与 Scotty 无关.

Answer 1

@Yuras 的类比是正确的。再次运行服务器时，所有与非 2xx 状态码相关的问题都消失了。

主 block 的第一行是罪魁祸首。
我改变了线路

main = do 
  let man = newManager defaultManagerSettings

至

main = do 
  man <- newManager defaultManagerSettings

瞧，没有任何问题。该程序的高内存使用量也从之前的 1GB 稳定到 21MB。

虽然我不知道原因。对此有一个解释会很好。