HAProxy 随机 HTTP 503 错误

Question

我们设置了 3 台服务器:

• 服务器A使用Nginx + HAproxy进行负载均衡
• 后端服务器B
• 后端服务器C

这是我们的/etc/haproxy/haproxy.cfg:

global
        log /dev/log   local0
        log 127.0.0.1   local1 notice
        maxconn 40096
        user haproxy
        group haproxy
        daemon

defaults
        log     global
        mode    http
        option  httplog
        option  dontlognull
        retries 3
        option redispatch
        maxconn 2000
        contimeout      50000
        clitimeout      50000
        srvtimeout      50000
                stats enable
                stats uri /lb?stats
                stats realm Haproxy\ Statistics
                stats auth admin:admin
listen statslb :5054 # choose different names for the 2 nodes
        mode http
        stats enable
        stats hide-version
        stats realm Haproxy\ Statistics
        stats uri /
        stats auth admin:admin

listen  Server-A 0.0.0.0:80    
        mode http
        balance roundrobin
        cookie JSESSIONID prefix
        option httpchk HEAD /check.txt HTTP/1.0
        server  Server-B <server.ip>:80 cookie app1inst2 check inter 1000 rise 2 fall 2
        server  Server-C <server.ip>:80 cookie app1inst2 check inter 1000 rise 2 fall 3

所有三台服务器都有大量 RAM 和 CPU 内核来处理请求

浏览时显示随机 HTTP 503 错误:503 服务不可用 - 没有服务器可用于处理此请求。

也在服务器的控制台上:

Message from syslogd@server-a at Dec 21 18:27:20 ...
 haproxy[1650]: proxy Server-A has no server available!

请注意，90% 的情况下都不会出现错误。这些错误是随机发生的。

Answer 1

我也遇到了同样的问题。经过几天的努力，我发现了这个问题。

我有两个正在运行的 HAProxy 实例。其中一个是僵尸，在更新或 haproxy 重启期间不知何故从未被杀死。我在刷新/haproxy 统计页面时注意到这一点，并且 PID 会在两个不同的数字之间变化。包含其中一个数字的页面有荒谬的连接统计数据。确认我做到了

netstat -tulpn | grep 80

或者

sudo lsof -i:80

看到两个 haproxy 进程正在监听 80 端口。

为了解决这个问题，我执行了“kill xxxx”，其中 xxxx 是包含可疑统计信息的 pid。