kubernetes - 间歇性 502 错误网关-6ren

kubernetes - 间歇性 502 错误网关

转载作者：行者123 更新时间：2023-12-05 03:27:35

28

4

背景故事优先:

我们有一个正在运行的部署在尝试使用 JMeter 等工具对其进行负载测试时遇到间歇性 502。它是一个将 POST 数据记录到另一个容器上的 mysql 数据库的容器。它每秒处理大约 85 个请求，在 Jmeter 中几乎没有错误，但是一旦这个数字开始增加，错误率也开始增加。在对 jmeter 的响应中，错误以 502 bad gateways 的形式返回:

<html>
<head><title>502 Bad Gateway</title></head>
<body>
<center><h1>502 Bad Gateway</h1></center>
<hr><center>nginx</center>
</body>
</html>

现在有趣的 - 或者，相当令人困惑的部分是，这似乎是一个 NGINX 错误 - 我们根本不使用 NGINX 作为我们的入口。这一切都是通过 IBM Cloud Bluemix 等实现的。

到目前为止，我们已经推断出当来自 Jmeter 的返回此错误的请求实际上没有命中我们在容器上运行的 main.py 脚本时会发生这些 502 错误 - 没有这些错误的日志在 pod 级别(使用 kubectl logs -n 命名空间部署)。有什么方法可以拦截/捕获基本上不会进入 pod 的错误吗？所以我们至少可以控制客户端在发生这些故障时返回的消息？

最佳答案

我假设设置是 Ingress --> Service --> Deployment。从这里https://cloud.ibm.com/docs/containers?topic=containers-ingress-types我的结论是您正在使用 nginx 入口 Controller ，因为没有提到正在使用的自定义入口 Controller /入口类。

502 仅出现在 85 req/sec 以上，因此 Ingress/Service/Deployment k8s 资源配置正确......应该不需要检查您的服务端点和入口配置。

请参阅下面有关来自入口 Controller 的间歇性 502 错误的一些故障排除提示:

Pod 可能无法应对增加的负载(这可能不适用于您，因为 85 请求/秒非常低，您还说过 kubectl get pods 显示 0 RESTARTS，但它可能对其他人有用):
- 如果您配置了 pod，它们会达到内存/cpu 限制，例如在 kubectl get pods 中检查 pod 状态 OOMKilled ;也做一个kubectl describe在你的 pods/deploymet/replicaset 上检查是否有任何错误
- Pod 可能不会响应 Liveness Probe，Pod 将重新启动，您将看到 502；做一个kubectl describe svc <your service> | grep Endpoints并检查您是否有任何后端 pod 为您的服务做好准备
- Pod 可能不会响应 Readiness Probe，在这种情况下，它们将不符合作为您服务的后端 Pod 的条件，当您开始看到 502 时，再次检查服务是否有任何端点
缺少就绪探测:即使应用程序尚未启动，您的 pod 也将被视为就绪并可用作服务的端点。但这意味着仅在您的 jmeter 测试开始时获得 502 ...所以我想这不适用于您的用例
- 您是否自动缩放？当负载增加时，另一个 pod 可能会在没有就绪探测的情况下启动吗？
您在 Jmeter 中使用 Keep Alive 吗？您可能会用完文件描述符，因为您创建了太多连接，但是我没有看到这会导致 502，但仍然值得检查...
入口 Controller 本身无法处理流量(在 85 个请求/秒时这很难想象，但为了完整起见添加它)
- 如果您有足够的权限，您可以执行 kubectl get ns并查找包含入口 Controller 的命名空间，ingress-nginx或类似的东西。在该命名空间中查找 pod 重启或其他事件。
如果以上几点都不能帮助您继续调查，请尝试其他方法，寻找线索:
- 尝试更好地隔离问题，使用 kubectl port-forward而不是通过入口。你能注入(inject)更多 85 req/sec 吗？如果是，那么您的 Pod 可以处理负载并且您已将问题隔离到入口 Controller 。
- 尝试启动更多 Pod 副本
- 使用 Jmeter Throughput Shaping Timer Plugin 并逐渐增加负载；然后随着负载的增加监控您的服务和 Pod 发生了什么，也许您可以找到 502 的确切触发器并获得更多关于可能是根本原因的线索

关于kubernetes - 间歇性 502 错误网关，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/71428308/

28

4

0

文章推荐： vuejs3 - 如何从 vue 3 中的插槽获取 ref？

文章推荐： javascript - 如何用p5给一个物体一个方形的螺旋运动

文章推荐： python - 在 3D numpy 数组中填充对角线

npm 安装不起作用 | npm 错误!路径 | npm 错误!代码 | npm 错误!错误 | npm 错误!系统调用 | npm 错误!恩恩特
我已经使用 vue-cli 两个星期了，直到今天一切正常。我在本地建立这个项目。 https://drive.google.com/open?id=0BwGw1zyyKjW7S3RYWXRaX24tQ
python - pytesseract 错误 Windows 错误 [错误 2]
您好，我正在尝试使用 python 库 pytesseract 从图像中提取文本。请找到代码: from PIL import Image from pytesseract import image_
C 错误 TLS 错误
我的错误 /usr/bin/ld: errno: TLS definition in /lib/libc.so.6 section .tbss mismatches non-TLS reference
r - 错误 `contrasts' 错误
我已经训练了一个模型，我正在尝试使用 predict函数但它返回以下错误。 Error in contrasts<-(*tmp*, value = contr.funs[1 + isOF[nn]])
postgresql - PowerBI 直接查询连接到 PostgreSQL 错误。 OLE 或 ODBC 错误 : [Expression. 错误] 我们无法将表达式折叠到数据源
根据Microsoft DataConnectors的信息我想通过 this ODBC driver 创建一个从 PowerBi 到 PostgreSQL 的连接器使用直接查询。我重用了 Micros
java - Android MediaPlayer 错误(在状态 1 中开始调用；错误 (-38, 0)；错误 (-38,0))
我已经为 SoundManagement 创建了一个包，其中有一个扩展 MediaPlayer 的类。我希望全局控制这个变量。这是我的代码: package soundmanagement; impo
heroku - PG::错误:错误:Heroku的内存不足
我在Heroku上部署了一个应用程序。我正在使用免费服务。我经常收到以下错误消息。 PG::Error: ERROR: out of memory 如果刷新浏览器，就可以了。但是随后，它又随机发生
.htaccess - .htaccess 错误，错误 500
我正在运行 LAMP 服务器，这个 .htaccess 给我一个 500 错误。其作用是过滤关键字并重定向到相应的域名。 Options +FollowSymLinks RewriteEngine
robocopy 错误，错误 32 (0x00000020)
我有两个驱动器 A 和 B。使用 python 脚本，我在“A”驱动器中创建一些文件，并运行 powerscript，该脚本以 1 秒的间隔将驱动器 A 中的所有文件复制到驱动器 B。我在 powe
postgresql 错误 - 错误 : input is out of range
下面的函数一直返回这个错误信息。我认为可能是 double_precision 字段类型导致了这种情况，我尝试使用 CAST，但要么不是这样，要么我没有做对...帮助？这是错误: ERROR: i
mysql - 错误 1064 MySQL 错误
这个问题已经有答案了: Syntax error due to using a reserved word as a table or column name in MySQL (1 个回答) 已关闭
mysql - mysql 错误(错误 1136)
我的数据库有这个小问题。我创建了一个表“articoli”，其中包含商品的品牌、型号和价格。每篇文章都由一个 id (ID_ARTICOLO)` 定义，它是一个自动递增字段。好吧，现在当我尝试插
c++ - 错误 C2228、错误 C2275
我是新来的。我目前正在 DeVry 在线学习中级 C++ 编程。我们正在使用 C++ Primer Plus 这本书，到目前为止我一直做得很好。我的老师最近向我们扔了一个曲线球。我目前的任务是这样的:
c++ - 错误 LNK2019 错误 C++
这个问题在这里已经有了答案: What is an undefined reference/unresolved external symbol error and how do I fix it?
html - 奇怪的 IE7 错误/错误
我的网站中有一段代码有问题；此错误仅发生在 Internet Explorer 7 中。我没有在这里发布我所有的 HTML/CSS 标记，而是发布了网站的一个版本 here . 如您所见，我在列中有
node.js - 错误!错误 : EPERM,
如果尝试在 USB 设备上构建 node.js 应用程序时在我的树莓派上使用 npm 时遇到一些问题。 package.json 看起来像这样: { "name" : "node-todo",
python - 无 Python 错误/错误？
在 Python 中，您有 None单例，在某些情况下表现得很奇怪: >>> a = None >>> type(a) >>> isinstance(a,None) Traceback (most
java - Android Studio 错误 - 错误 :java. util.concurrent.ExecutionException : com. android.tools.aapt2.Aapt2Exception:AAPT 错误
这是我的 build.gradle (Module:app) 文件: apply plugin: 'com.android.application' android { compileSdkV
android - 任务 ':app:compileDebugJavaWithJavac' 执行失败。错误 :(2055, 52) 错误 : ';' expected Error:(2055, 59) 错误:<标识符> 预期
我是 android 的新手，我的项目刚才编译和运行正常，但在我尝试实现抽屉导航后，它给了我这个错误 FAILURE: Build failed with an exception. What wen
PHP 7.2.25 错误!= 错误？
谁能解释一下？我想我正在做一些非常愚蠢的事情，并且急切地等待着启蒙。我得到这个输出: phpversion() == 7.2.25-1+0~20191128.32+debian8~1.gbp108

首页

博学

6Ren·AI

商城

kubernetes - 间歇性 502 错误网关