kubernetes - istio 不为舞会 Helm chart 提供静态文件

Question

我的团队在我们的 k8s (v 1.15.6) 环境中使用 istio(版本 1.2.8)，
我们想为 Prometheus 提供 外网IP , 应用 vs 时
我们能够在浏览器中访问 Prometheus 但没有和 css/js文件。我们得到了 404 .js 的错误(见下面的日志)文件(见下面的特使日志)作为 /static不提供文件。

这是我们得到的 UI (不提供 css 和 js 文件)



而不是以下 Prometheus 默认用户界面(使用负载均衡器或端口转发时...)



这是查看问题的最小步骤:

安装 Prometheus通过掌 Helm 原样 (最新 - 我们没有更改图表中 Prometheus 的任何默认设置 )

取名service (将 kubectl get svc 放在服务部署的 ns 上)把它放在 destination->host 上VS 中的部分(更新 gw 主机等)并应用 VS文件

vs.yaml

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: prom-virtualservice
  namespace: mon
spec:
  gateways:
    - de-system-gateway.ws-system.svc.cluster.local
  hosts:
    - lzs.dev10.int.str.cloud.rpn
  http:
    - match:
        - uri:
            prefix: /prometheus
      rewrite:
        uri: /graph
      route:
        - destination:
            host: prom-prometheus-server
            port:
              number: 80

顺便提一句，

如果我只是将 Prometheus 的类型更改为使用 LoadBalancer 它工作，我能够得到 external-ip并按预期查看 istio UI。

另一个信息，如果我删除以下内容

      rewrite:
        uri: /graph

我收到了 404 error在浏览器中没有来自舞会的任何数据

在没有js/css文件的浏览器中，浏览器中的网络如下:



我什至尝试以下也不起作用

        - uri:
            prefix: /prometheus
      rewrite:
        uri: /static

或者

        - uri:
            prefix: /prometheus/static

我们的 gateway规范如下

...
spec:
  selector:
    istio: ingressgateway
  servers:
  - hosts:
    - lzs.dev10.int.str.cloud.rpn
    port:
      name: https-manager
      number: 443
      protocol: HTTPS
    tls:
      mode: SIMPLE
      privateKey: /etc/istio/de-tls/tls.key
      serverCertificate: /etc/istio/de-tls/tls.crt

使用端口转发(本地)或 loadbalancer对于普罗米修斯它有效。
我们如何让它与 istio 一起工作？

更新

我也尝试添加静态并得到相同的结果:

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: prom-virtualservice
  namespace: mon
spec:
  gateways:
    - de-system-gateway.ws-system.svc.cluster.local
  hosts:
    - lzs.dev10.int.str.cloud.rpn
  http:
    - match:
        - uri:
            prefix: /prometheus
        - uri:
            prefix: /static
        - uri:
            regex: '^.*\.(ico|png|jpg)$'
      rewrite:
        uri: /graph
      route:
        - destination:
            host: prom-prometheus-server
            port:
              number: 80

更新 2

使用作为答案提供的 yaml 后，现在我看到带有 css 等的 ui，但它不起作用，我收到错误: Error loading available metrics!在浏览器 Debug模式网络选项卡中，我可以看到以下内容不起作用

这是特使的错误日志

[2019-12-17T09:04:18.670Z] "GET /api/v1/query?query=time()&_=1576573457737 HTTP/2" 404 NR "-" "-" 0 0 0 - "100.96.0.1" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36" "57592874-27f5-4b57-9dea-1bcf13365f60" "lzs.dev10.int.str.cloud.rpn" "-" - - 100.96.2.13:443 100.96.0.1:24664 lzs.dev10.int.str.cloud.rpn
[2019-12-17T09:04:18.670Z] "GET /api/v1/label/__name__/values?_=1576573457738 HTTP/2" 404 NR "-" "-" 0 0 0 - "100.96.0.1" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36" "edad441d-58fe-4214-aae0-a0aec9012030" "lzs.dev10.int.str.cloud.rpn" "-" - - 100.96.2.13:443 100.96.0.1:24664 lzs.dev10.int.str.cloud.rpn

(我们不是在谈论 istio 自带的 Prometheus，我们需要在 diff 命名空间上安装 diff Prometheus ......)

这是特使的日志

2019-12-15T13:57:16.977357Z 信息 Envoy 代理已准备就绪

[2019-12-15 14:29:51.226][14][警告][配置][bazel-out/k8-opt/bin/external/envoy/source/common/config/_virtual_includes/grpc_stream_lib/common/config/grpc_stream.h:86] gRPC 配置流关闭:13，
[2019-12-15 15:00:50.980][14][警告][配置][bazel-out/k8-opt/bin/external/envoy/source/common/config/_virtual_includes/grpc_stream_lib/common/config/grpc_stream.h:86] gRPC 配置流关闭:13，
[2019-12-15T15:11:02.572Z] "GET/prometheus HTTP/2"200 - "-""-"0 5785 2 1 "100.96.3.1" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:70.0) Gecko/20100101 Firefox/70.0""531e2f39-0c9f-44d3-b11b-e336126ea836""lzs.9str010rp10 .0.16:9090"出站|80||prom-prometheus-server.mon.svc.cluster.local - 100.96.2.10:443 100.96.3.1:32972 lzs.dev10.int.str.cloud.rpn
[2019-12-15T15:11:02.705Z]"GET/static/vendor/js/jquery-3.3.1.min.js?v=6f92ce56053866194ae5937012c1bec40f1dd1d9 HTTP/2"-"-NR"-"-0NR"- "100.96.3.1""Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:70.0) Gecko/20100101 Firefox/70.0""40119d8d-2103-4453-b589-e1566.devlz.cloud. .rpn""-"- - 100.96.2.10:443 100.96.3.1:32972 lzs.dev10.int.str.cloud.rpn
[2019-12-15T15:11:02.705Z] "GET/static/vendor/js/popper.min.js?v=6f92ce56053866194ae5937012c1bec40f1dd1d9 HTTP/2"404 NR "-"04"-65"-"-"-65 "100.96.3.1""Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:70.0) Gecko/20100101 Firefox/70.0""dbdf2a2a-cfd3-422a-82f4-e6e471dev.str"1cloudint.com .rpn""-"- - 100.96.2.10:443 100.96.3.1:32972 lzs.dev10.int.str.cloud.rpn
[2019-12-15T15:11:02.706Z]“GET/static/vendor/bootstrap-4.3.1/js/bootstrap.min.js?v=6f92ce56053866194ae5937012c1bec40f1dd1d4040”“NR-0” 0 - "100.96.3.1""Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:70.0) Gecko/20100101 Firefox/70.0""efd95571-03e9-492d-98ff-b49610d.1dev-b49610d".cloud.rpn""-"- - 100.96.2.10:443 100.96.3.1:32972 lzs.dev10.int.str.cloud.rpn
[2019-12-15T15:11:02.706Z]“GET/static/vendor/bootstrap-4.3.1/css/bootstrap.min.css?v=6f92ce56053866194ae5937012c1bec40f1dd1d9 HTTP/2”“-NR” 0 - "100.96.3.1""Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:70.0) Gecko/20100101 Firefox/70.0""8ae04546-06cb-4ba0-8430-f0143680-f0143688"1dev .cloud.rpn""-"- - 100.96.2.10:443 100.96.3.1:32972 lzs.dev10.int.str.cloud.rpn
[2019-12-15T15:11:02.706Z] "GET/static/css/prometheus.css?v=6f92ce56053866194ae5937012c1bec40f1dd1d9 HTTP/2"404 NR "-"".-"-09 "Moz30/5.0 (Macintosh; Intel Mac OS X 10.14; rv:70.0) Gecko/20100101 Firefox/70.0""70c88f5f-b582-4dd9-a2e2-47605c812344""-lzs.dev10."nrp.int. 100.96.2.10:443 100.96.3.1:32972 lzs.dev10.int.str.cloud.rpn

Answer 1

首先，我找到了一些关于 istio 1.2 的信息。这告诉

Istio 1.2 has been tested with these Kubernetes releases: 1.12, 1.13, 1.14.

因此，如果您使用 kubernetes 1.15，我建议将您的 istio 升级到最新版本。

关于prometheus，我看你要使用prometheus helm chart，你为什么不使用内置的prometheus？如 istio documentation 中提供的prometheus 在 default、demo 和 sds 版本中启用。

基于 istio remotely accessign telemetry addons您可以使用安全( https )或不安全( http )选项来公开普罗米修斯。

我个人按照上述教程进行了不安全的复制，一切正常。

Kubernetes 版本 : 1.13.11-gke.14

Istio 版本 : 1.4.2

要遵循的步骤

1.安装

Istioctl

Istio default

2.暴露普罗米修斯

cat <<EOF | kubectl apply -f -
apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: prometheus-gateway
  namespace: istio-system
spec:
  selector:
    istio: ingressgateway
  servers:
  - port:
      number: 15030
      name: http-prom
      protocol: HTTP
    hosts:
    - "*"
---
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: prometheus-vs
  namespace: istio-system
spec:
  hosts:
  - "*"
  gateways:
  - prometheus-gateway
  http:
  - match:
    - port: 15030
    route:
    - destination:
        host: prometheus
        port:
          number: 9090
---
apiVersion: networking.istio.io/v1alpha3
kind: DestinationRule
metadata:
  name: prometheus
  namespace: istio-system
spec:
  host: prometheus
  trafficPolicy:
    tls:
      mode: DISABLE
---
EOF 

3.结果



编辑

你可以试试用这个 yaml 吗？

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: prom-virtualservice
  namespace: mon
spec:
  gateways:
    - de-system-gateway.ws-system.svc.cluster.local
  hosts:
    - lzs.dev10.int.str.cloud.rpn
  http:
  - match:
        - uri:
            prefix: /prometheus
      rewrite:
        uri: /graph
      route:
        - destination:
            host: prom-prometheus-server
            port:
              number: 80
  - match:
        - uri:
            prefix: /static
        - uri:
            regex: '^.*\.(ico|png|jpg)$'
      route:
        - destination:
            host: prom-prometheus-server
            port:
              number: 80

编辑2 请将/api 前缀添加到您的第二个匹配项中，如下所示

apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: prom-virtualservice
  namespace: mon
spec:
  gateways:
    - de-system-gateway.ws-system.svc.cluster.local
  hosts:
    - lzs.dev10.int.str.cloud.rpn
  http:
  - match:
        - uri:
            prefix: /prometheus
      rewrite:
        uri: /graph
      route:
        - destination:
            host: prom-prometheus-server
            port:
              number: 80
  - match:
        - uri:
            prefix: /static
        - uri:
            regex: '^.*\.(ico|png|jpg)$'
        - uri:
            prefix: /api
      route:
        - destination:
            host: prom-prometheus-server
            port:
              number: 80

编辑3

In your answer you separate it to two matches , why?

此 link这是我认为的答案，您将/prometheus 重写为/graph，因为它是 Prometheus 的主要网址，这没关系。但是您不能将/static、/api 重写为/graph，因为您需要这些路径来获取文件和指标，如果不匹配，则会出现错误 404。