nginx 502 阻碍 eb Worker 和 SQS 导致可见性超时不被遵守

Question

我的症状与 https://forums.aws.amazon.com/message.jspa?messageID=580990#580990 相同但在 EB Docker 预配置 Python 上(即不考虑可见性超时)。首先，我的队列可见性超时(在 eb 和 sqs 中配置)是 1800 秒。

我在 60 秒后收到 502，因为我的消息需要超过 60 秒才能处理(并且在 60 秒后，队列当然会尝试重试该消息，因为它收到了 502)。我尝试了 .ebextensions proxy.conf 解决方案(在 ecd_bm 的链接中提到)，但没有成功。

我的/var/log/nginx/access.log给出:

127.0.0.1 - - [18/May/2015:08:56:58 +0000] "POST /scrape-emails HTTP/1.1" 502 172 "-" "aws-sqsd/2.0"

我的 nginx/var/log/nginx/error.log 给出:

2015/05/18 08:56:58 [error] 12465#0: *32 upstream prematurely closed connection while reading response header from upstream, client: 127.0.0.1, server: , request: "POST /scrape-emails HTTP/1.1", upstream: "http://172.17.0.4:8080/scrape-emails", host: "localhost"

我的/var/log/aws-sqsd/default.log 给出:

2015-05-18T08:56:58Z http-err: 8240b585-61c3-4fba-b99a-265ace312308 (1) 502 - 60.050

首先，我的/etc/nginx/nginx.conf 看起来像:

# Elastic Beanstalk Nginx Configuration File

user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log;

pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    access_log    /var/log/nginx/access.log;

    include       /etc/nginx/conf.d/*.conf;
    include       /etc/nginx/sites-enabled/*;
}

我曾经在 60 秒后收到 504 秒，但将以下内容添加到/etc/nginx/sites-enabled/elasticbeanstalk-nginx-docker-proxy.conf (包含在/etc/nginx/nginx.conf 中)摆脱了它们(但被 502 取代):

map $http_upgrade $connection_upgrade {
    default     "upgrade";
    ""          "";
}

server {
    listen 80;

    location / {
        proxy_pass          http://docker;
        proxy_http_version  1.1;

        proxy_set_header    Connection      $connection_upgrade;
        proxy_set_header    Upgrade     $http_upgrade;
        proxy_set_header    Host            $host;
        proxy_set_header    X-Real-IP       $remote_addr;
        proxy_set_header    X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_buffers 8 16k;
        proxy_buffer_size 32k;
        proxy_connect_timeout 1800s;
        proxy_send_timeout 1800s;
        proxy_read_timeout 1800s;

    }
}

我已经将每个参数设置为默认 60 秒到 1800 秒 -- http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_buffers

我注意到 uwsgi 日志显示:你对 worker 优雅操作的仁慈是60秒这可能是问题所在吗？ ——如果是这样，我该如何解决？如果不是，我该如何停止 502。

此外，我已将以下内容添加到/etc/nginx/uwsgi_params 但无济于事:

uwsgi_read_timeout 1800s;
uwsgi_send_timeout 1800s;
uwsgi_connect_timeout 1800s;

编辑 nginx 配置文件(使用 ssh)后，我总是会在 eb Web 界面中“重新启动应用程序服务器”，然后进行测试。

关于如何摆脱 502 并在处理消息时遵守可见性超时有什么想法吗？

Answer 1

这是我迄今为止所做的工作。不知道这是否是访问队列可见性超时的“安全”方式，但它目前似乎在我的 ruby​​ 工作环境中起作用:

packages:
  yum:
    jq: []

commands:
  match_nginx_timeout_to_sqs_timeout:
    command: |
      VISIBILITY_TIMEOUT=$(
        /opt/aws/bin/cfn-get-metadata --region `{"Ref": "AWS::Region"}` --stack `{"Ref": "AWS::StackName"}` \
          --resource AWSEBBeanstalkMetadata --key AWS::ElasticBeanstalk::Ext |
          jq -r '.Parameters.AWSEBVisibilityTimeout'
      )
      if [[ -n "${VISIBILITY_TIMEOUT}" ]]; then
        echo "proxy_read_timeout ${VISIBILITY_TIMEOUT}s;" > /etc/nginx/conf.d/worker.conf
        service nginx restart
      fi

实际上，我对这些数据有二次用途，因此最终将其拆分为 properties-cache 文件。请参阅https://github.com/Safecast/ingest/pull/43/files了解详情。

我的印象是，从 beanstalk UI 更新可见性超时不会更新该值，直到下一次部署为止，但我对这种情况很满意，因为无论如何它都不会根据环境经常更改。