go - 在使用 gin gonic 进行负载测试期间打开的文件过多

Question

要进行模拟负载测试，请使用以下代码在 Go gin-gonic 框架中设置一个非常基本的 REST api，并在大约 1000 多个请求出现错误后

http: Accept error: accept tcp [::]:8123: accept4: too many open files; retrying in 1s

func main() {
    gin.SetMode(gin.DebugMode)
    router := gin.Default()

    router.GET("/dummyRequest", func(c *gin.Context) {
        c.Data(http.StatusOK, "application/json; charset=utf-8", []byte(`{"name": "test", "age": 99}`))
    })

    router.Run(":8123")
}

基于这个问题here我知道这可以通过执行 ulimit 命令来解决，但这只会延迟问题。

当我执行 netstat -tc 命令时，我看到建立了新连接，并在请求得到服务后很长时间内继续处于 ESTABLISHED 状态。

正如预期的那样，当我按预期检查/proc/$PID/limits 时，会看到以下条目:

Max open files            1024                 4096                 files

请帮助我还有哪些其他选项可以尝试以正确的方式解决此问题。

我正在使用 curl 请求发送请求来测试上述内容。

Answer 1

Go 的 http 包默认不指定请求超时。您应该始终在服务中包含超时。如果客户没有关闭他们的 session 怎么办？您的进程将使达到 ulimits 的旧 session 保持事件状态。坏人可能会故意打开数以千计的 session ，对您的服务器进行 DOS 攻击。

尝试这样的事情:

srv := &http.Server{
    Addr:           ":8123",
    Handler:        router,
    ReadTimeout:    10 * time.Second,
    WriteTimeout:   10 * time.Second,
}
srv.ListenAndServe()

您可以通过监控进程打开的文件来验证之前和之后:

lsof -p [PID_ID]

供引用: https://github.com/gin-gonic/gin#custom-http-configuration