docker - ipv4 https 请求未转发到 docker 容器

Question

我在使用 Docker 和 ovh 服务器 (ubuntu xenial) 时遇到了一个恼人的问题。我在我的服务器上运行 NGINX 官方 docker 镜像 (15.x)，并将一些端口从我的服务器转发到我的 docker 镜像(以在线托管服务器服务)。

所有从外部完成的 HTTP 请求(使用 IPV4 或 IPV6)都会设法到达 NGINX。但是，使用 IPV4 完成的 HTTPS 请求无法到达 NGINX(IPV6 HTTPPS 非常有效)。

我使用 tcdump 在我的服务器和 NGINX docker 容器中监听了端口 443 tcpdump -i any port 443 -s0 -n

结果:我在我的服务器和 NGINX 容器中看到了 IPV6 HTTPS 请求。我仅在我的服务器上看到 IPV4 https 请求，但在 NGINX 容器中没有看到 IPV4 https 请求。=>所以看起来，这不是一个“打开的端口”问题，因为我设法在我的服务器上看到IPV4请求(并且我检查了IPTables，443被转发到docker代理)。我认为这是我的服务器和 Docker 代理之间的端口转发 pb，仅适用于使用 IPV6 完成的 HTTPS 请求。

这是我的容器配置:

nginx:
depends_on:
  - my_php7
image: nginx:latest
volumes:
  - "../:/usr/share/nginx/html:rw"
  - "./nginx/var/log:/var/log/nginx:rw"
  - "./nginx/nginx.template.conf:/etc/nginx/conf.d/nginx.template:rw"
  - "./nginx/sites-available:/etc/nginx/sites-available:rw"
  - "./nginx/sites-enabled:/etc/nginx/sites-enabled:rw"
links:
  - my_php7:webstack_php
ports:
  - "8080:8080"
  - "8090:90"
  - "8091:91"
  - "8083:8083"
  - "80:80"
  - "443:443"
restart: always
command: /bin/bash -c "cp /etc/nginx/conf.d/nginx.template /etc/nginx/conf.d/nginx.conf && nginx -c /etc/nginx/conf.d/nginx.conf"

我还检查了 net.ipv6.bindv6only:
#> sysctl net.ipv6.bindv6only
net.ipv6.bindv6only = 0


这是我的 nat 信息:

Proto Recv-Q Send-Q Adresse locale          Adresse distante        Etat       PID/Program name
tcp        0      0 0.0.0.0:8081            0.0.0.0:*               LISTEN      19671/node
tcp        0      0 91.121.101.165:914      0.0.0.0:*               LISTEN      1696/openvpn-openss
tcp        0      0 91.121.101.165:915      0.0.0.0:*               LISTEN      1724/openvpn-openss
tcp        0      0 0.0.0.0:8084            0.0.0.0:*               LISTEN      22633/node
tcp        0      0 91.121.101.165:916      0.0.0.0:*               LISTEN      1751/openvpn-openss
tcp        0      0 91.121.101.165:917      0.0.0.0:*               LISTEN      1779/openvpn-openss
tcp        0      0 127.0.0.1:53            0.0.0.0:*               LISTEN      929/named
tcp        0      0 0.0.0.0:21              0.0.0.0:*               LISTEN      947/vsftpd
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      943/sshd
tcp        0      0 127.0.0.1:953           0.0.0.0:*               LISTEN      929/named
tcp        0      0 127.0.0.1:4040          0.0.0.0:*               LISTEN      4765/ngrok
tcp6       0      0 :::8082                 :::*                    LISTEN      12095/docker-proxy
tcp6       0      0 :::8083                 :::*                    LISTEN      12837/docker-proxy
tcp6       0      0 :::2003                 :::*                    LISTEN      12058/docker-proxy
tcp6       0      0 :::9300                 :::*                    LISTEN      12006/docker-proxy
tcp6       0      0 :::85                   :::*                    LISTEN      12070/docker-proxy
tcp6       0      0 ::1:53                  :::*                    LISTEN      929/named
tcp6       0      0 :::22                   :::*                    LISTEN      943/sshd
tcp6       0      0 :::3000                 :::*                    LISTEN      12544/docker-proxy
tcp6       0      0 ::1:953                 :::*                    LISTEN      929/named
tcp6       0      0 :::8090                 :::*                    LISTEN      12861/docker-proxy
tcp6       0      0 :::443                  :::*                    LISTEN      12885/docker-proxy
tcp6       0      0 :::8091                 :::*                    LISTEN      12849/docker-proxy
tcp6       0      0 :::92                   :::*                    LISTEN      12082/docker-proxy
tcp6       0      0 :::4000                 :::*                    LISTEN      12532/docker-proxy
tcp6       0      0 :::9000                 :::*                    LISTEN      12521/docker-proxy
tcp6       0      0 :::5000                 :::*                    LISTEN      12106/docker-proxy
tcp6       0      0 :::3306                 :::*                    LISTEN      12119/docker-proxy
tcp6       0      0 :::80                   :::*                    LISTEN      12897/docker-proxy
tcp6       0      0 :::8080                 :::*                    LISTEN      12873/docker-proxy
tcp6       0      0 :::9200                 :::*                    LISTEN      12035/docker-proxy
tcp6       0      0 :::4400                 :::*                    LISTEN      28319/node
udp6    3072      0 :::40195                :::*                                1081/collectd
udp6       0      0 :::8124                 :::*                                12046/docker-proxy
udp6       0      0 ::1:53                  :::*                                929/named
udp6       0      0 ff18::efc0:4a42:25826   :::*                                1081/collectd

对于那些想知道为什么 443 只显示 IPV6 转发的人:

• 80 端口也是如此，并且工作正常

• 来自 https://groups.google.com/d/msg/golang-nuts/F5HE7Eqb6iM/q_um2VqT5vAJ

on linux, by default, net.ipv6.bindv6only is 0, so ipv4 packets could also be received from ipv6 sockets with ipv4-mapped ipv6 address. thus you only need to listen on tcp6 socket and we can support both ipv4 and ipv6.

if you want explicitly only listen on ipv4 port, you will have to use net.Listen("tcp4", "0.0.0.0:3000") and then pass the listener to http.Serve.

我尝试重建容器但没有成功。我还尝试在另一个 docker 中打开 443 端口 => 它无法获取 IPV4 HTTPS 请求。

恢复:

• 所有 HTTP 请求 (IPV4/IPV6) 均有效

• 只有 IPV6 HTTPS 有效，IPV4 似乎没有转发到 Docker

• IPtables、Docker conf 和网络统计信息均正常。

有什么想法吗？ :)

[编辑]

@leodotcloud

当然是这里(我用 xxxx 隐藏服务器名称)

虚拟主机配置

server {
    listen 443 ssl http2;

    server_name www.xxx.com;

    error_log /var/log/nginx/error.log;
    access_log /var/log/nginx/access.log;

   ssl_certificate    /etc/letsencrypt/live/xxx.com/fullchain.pem;
   ssl_certificate_key  /etc/letsencrypt/live/xxxx.com/privkey.pem;
   ssl_ciphers ECDHE-RSA-AES256-GCM-SHA512:DHE-RSA-AES256-GCM-SHA512:ECDHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-SHA384;
   ssl_session_timeout  10m;
   ssl_session_cache shared:SSL:10m;
   ssl_prefer_server_ciphers on;

    charset utf-8;

    location / {
        proxy_pass http://node;
        proxy_set_header X-Real-IP  $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $host;
    }

} 

SSL 的 nginx 配置

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    ##
    # SSL Settings
    ##

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # Dropping SSLv3, ref: POODLE

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

....

}

[编辑2]我尝试将 docker-compose 配置从“443:443”更改为“0.0.0.0:443:443”以强制 ipv4 绑定(bind)。

我收到此错误:绑定(bind) 0.0.0.0:443 失败:端口已分配

所以我有一些使用 443 上的 IPV4 连接的东西。

当我使用“443:443”语法绑定(bind)IPV6和IPV4时，docker绑定(bind)IPV6但不检查IPV4(也许系统也关心绑定(bind)IPV4)。

现在我必须找到这项服务。问题:我使用 netstat 找不到它。有没有办法强制关闭套接字？

[编辑]我尝试停止容器并直接在服务器上启动 nginx，绑定(bind) 443 +SSL IPV4/IPV6 并提供“hello”文件。=> IPV6 有效，IPV4 无效=> 我将端口从 443 更改为 444 => IPV4 和 IPV6 有效=> 我清除了 IPTABLE 并在所有内容上配置接受 => IPV4 443 仍然存在同样的问题:(

因为 Nginx 设法绑定(bind)在 0.0.0.0:443 上，所以我认为套接字是“空闲的”。因此，某些东西正在阻止或过滤来自 IPV4 443 的数据传入

[edit] 最后是 IPTABLE 问题。我将我的答案标记为在 IPV4 中重新打开端口 443 的解决方案。我将查看我的 NAT 表，找出导致此问题的规则，如果需要，我将打开一个新主题。感谢大家的帮助!

Answer 1

我终于找到了让它发挥作用的方法。只需使用以下命令FLUSHED nat即可:

iptables -t nat -F

现在一切正常了。 :)

我不太明白这个命令的作用。它刷新了 NAT 规则，但我在我的 IPTABLE 中看不到任何差异。

如果有人可以告诉我这种“刷新”是否有风险(我从未更改过 IPTABLE 中的某些内容，只有 docker 更改它)。