spring-boot - Nginx/SpringBoot/Kubernetes - 客户端 IP 的 X-Forwarded-For header

Question

我对此有点缺乏经验，所以寻求一些帮助，了解我如何做到这一点!抱歉，如果不清楚我要做什么。

目标

我有一个基于位置的 Angular 前端。我希望能够通过使用用户公共(public) IP 并使用地理定位服务向我提供他们来自的城市/地区。

更新 #1

从下面的一个答案中，我现在在 SpringBoot 中获得了一个 IP 地址，但不幸的是它是 DigitalOcean Droplet 的 IP 地址。

当前设置

我正在使用 Spring Security 自定义过滤器来执行此操作。它位于 Angular 应用程序的后面。

我希望我能够使用 HttpServletRequest request.getRemoteAddr() 获取 IP 地址，但我发现一旦 SpringBoot 应用程序部署在 Kubernetes 上，它位于后面一个 NGINX 代理，getRemoteAddr() 给我 Digital Ocean droplet IP。

因此，我希望能够将此客户端 IP 地址作为 X-Forwarded-For header 或什至自定义 X-Client-IP header 转发。如果我将这些操作作为 Spring Security Filter 的一部分执行，我将如何处理？有可能吗？

Nginx 配置

location / {
    proxy_set_header    Host               $host;
    proxy_set_header    X-Client-IP        $proxy_add_x_forwarded_for;
    proxy_set_header    X-Real-IP          $remote_addr;
    proxy_set_header    X-Forwarded-For    $proxy_add_x_forwarded_for;
    proxy_set_header    X-Forwarded-Host   $host;
    proxy_set_header    X-Forwarded-Server $host;
    proxy_set_header    X-Forwarded-Port   $server_port;
    proxy_set_header    X-Forwarded-Proto  $scheme;

    rewrite .* /index.html break;
  }

Spring Boot 过滤器

private static String getClientIpAddr(HttpServletRequest request) {
        String ip = request.getHeader("X-Forwarded-For");

        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getHeader("Proxy-Client-IP");
        }
        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getHeader("WL-Proxy-Client-IP");
        }
        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getHeader("HTTP_CLIENT_IP");
        }
        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getHeader("HTTP_X_FORWARDED_FOR");
        }
        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getHeader("X-Real-IP");
        }
        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getHeader("X-Client-IP");
        }
        if (ip == null || ip.length() == 0 || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getRemoteAddr();
        }

        return ip;
    }

除了 request.getRemoteAddr()(返回负载均衡器 IP)之外，所有这些都返回 null。

Kubernetes 设置

kind: Deployment
apiVersion: apps/v1
metadata:
  name: example-webapp-frontend-deployment
spec:
  revisionHistoryLimit: 3
  minReadySeconds: 30
  replicas: 1
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
  selector:
    matchLabels:
      app: example-webapp-frontend
  template:
    metadata:
      labels:
        app: example-webapp-frontend
    spec:
      restartPolicy: Always
      containers:
        - name: example-webapp-frontend
          image: docker-example/example-webapp-frontend:latest
          imagePullPolicy: Always
          ports:
            - containerPort: 80
      imagePullSecrets:
        - name: docker-creds

---

apiVersion: v1
kind: Service
metadata:
  name: example-webapp-frontend-service
spec:
  selector:
    app: example-webapp-frontend
  ports:
    - protocol: TCP
      targetPort: 80
      port: 80

---

kind: Deployment
apiVersion: apps/v1
metadata:
  name: example-webapp-bff-deployment
spec:
  revisionHistoryLimit: 3
  minReadySeconds: 30
  replicas: 1
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
  selector:
    matchLabels:
      app: example-webapp-bff
  template:
    metadata:
      labels:
        app: example-webapp-bff
    spec:
      restartPolicy: Always
      containers:
        - name: example-webapp-bff
          image: docker-example/example-webapp-bff:latest
          imagePullPolicy: Always
          ports:
            - containerPort: 9874
      imagePullSecrets:
        - name: docker-creds

---

apiVersion: v1
kind: Service
metadata:
  name: example-webapp-bff-service
spec:
  selector:
    app: example-webapp-bff
  ports:
    - protocol: TCP
      targetPort: 9874
      port: 9874

---

    apiVersion: extensions/v1beta1
    kind: Ingress
    metadata:
      annotations:
        kubernetes.io/ingress.class: "nginx"
        nginx.ingress.kubernetes.io/proxy-read-timeout: "12h"
        nginx.ingress.kubernetes.io/ssl-redirect: "true"
        nginx.ingress.kubernetes.io/force-ssl-redirect: "true"
      name: webapp-ingress
      namespace: default
    spec:
      tls:
        - hosts:
            - example.com
          secretName: example-tls
      rules:
        - host: example.com
          http:
            paths:
              - path: /
                backend:
                  serviceName: webapp-frontend-service
                  servicePort: 80
        - host: example.com
          http:
            paths:
              - path: /api/
                backend:
                  serviceName: webapp-bff-service
                  servicePort: 9874

Spring 启动配置

server.forward-headers-strategy=NATIVE
server.tomcat.remote-ip-header=x-forwarded-for
server.tomcat.internal-proxies="\
              10\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}|\
              192\\.168\\.\\d{1,3}\\.\\d{1,3}|\
              169\\.254\\.\\d{1,3}\\.\\d{1,3}|\
              127\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}|\
              172\\.1[6-9]{1}\\.\\d{1,3}\\.\\d{1,3}|\
              172\\.2[0-9]{1}\\.\\d{1,3}\\.\\d{1,3}|\
              172\\.3[0-1]{1}\\.\\d{1,3}\\.\\d{1,3}\
              172\\.3[0-1]{1}\\.\\d{1,3}\\.\\d{1,3}\
              <digital-ocean-droplet-IP>\
              <digital-ocean-droplet-IP>\
              <digital-ocean-loadbalancer-IP>"

Digital Ocean Kubernetes 配置

我有一个集群，它有一个包含两个节点的池。我有一个位于它前面的 Digital Ocean 负载均衡器。目前运行版本1.17.5.,

谁能提供建议？提前致谢。

Answer 1

Spring Boot 包含一个过滤器，可以开箱即用地与反向代理集成，并根据请求适本地设置远程地址。您可能需要配置允许的 IP 以接受 header 。

这是一个例子:

server:
  forward-headers-strategy: native
  tomcat:
    remoteip:
      remote-ip-header: x-forwarded-for
      #private: 10/8, 192.168/16, 169.254/16, 127/8, 172.16/12
      internal-proxies: "\
              10\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}|\
              192\\.168\\.\\d{1,3}\\.\\d{1,3}|\
              169\\.254\\.\\d{1,3}\\.\\d{1,3}|\
              127\\.\\d{1,3}\\.\\d{1,3}\\.\\d{1,3}|\
              172\\.1[6-9]{1}\\.\\d{1,3}\\.\\d{1,3}|\
              172\\.2[0-9]{1}\\.\\d{1,3}\\.\\d{1,3}|\
              172\\.3[0-1]{1}\\.\\d{1,3}\\.\\d{1,3}"

这是文档:https://docs.spring.io/spring-boot/docs/current/reference/html/howto.html#howto-use-behind-a-proxy-server

不过，重要的是 spring 应用程序接收到正确的 x-forwarded-for header 。由于您在 kubernetes 上进行部署，因此您很可能正在使用 Ingress 将外部请求路由到正确的 kubernetes 服务。Ingress 通常使用 nginx 或 traefik 实现，并且如果 L7 反向代理用作外部负载平衡器和 TLS 终止(如果适用)，则必须配置为接受 x-forwarded-for header 。

如果使用 nginx 创建配置映射来配置 nginx

use-forwarded-headers: "true"
proxy-real-ip-cidr: "10.0.0.0/8,..."

当 TLS 未在外部终止时，外部负载均衡器将无法添加 header ，因为加密(L3 负载均衡器)。在这种情况下，唯一的选择是使用 PROXY 协议(protocol)，该协议(protocol)将元数据添加到包含真实远程地址的转发 tcp 流中。

nginx 配置示例

use-proxy-protocol: 'true'

请注意，使用代理协议(protocol)和证书管理器通过外部 (kubernetes) LoadBalancer 配置管理 TLS 证书时会出现一些问题。 (参见 https://github.com/kubernetes/kubernetes/issues/66607 和 https://github.com/kubernetes/ingress-nginx/issues/3996)

一旦在所有处设置正确，远程 ip 应该设置正确。

在调试此类设置时，我建议从最外层开始，通过拦截(ngrep、tcpdump)或记录请求并逐步向前推进。