Nginx 代理缓冲 - 更改缓冲区的数量与大小？

Question

我想知道并试图弄清楚这两个设置如何:

proxy_buffers [number] [size];

可能会影响(提高/降低)代理服务器性能，以及是否更改缓冲区的大小、数量或两者...？

在我的特定情况下，我们讨论的是一个提供动态生成的二进制文件的系统，该文件的大小可能会有所不同(~60 - 200kB)。 Nginx 在 2 个充当生成器的 Tomcat 前面充当负载均衡器。我在 Nginx 的 error.log 中看到，使用默认缓冲区大小设置，所有代理响应都会缓存到文件中，因此我发现合乎逻辑的是将设置更改为如下所示:

proxy_buffers 4 32k;

警告消息消失了。

这里我不清楚的是，我是否应该最好设置 1 个较大尺寸的缓冲区，或者几个较小的缓冲区...例如:

proxy_buffers 1 128k; vs proxy_buffers 4 32k; vs proxy_buffers 8 16k;，等等...

可能有什么区别，以及它如何影响性能(如果有的话)？

Answer 1

首先，最好看看 the documentation关于指令的说明:

Syntax: proxy_buffers number size;
Default: proxy_buffers 8 4k|8k;
Context: http, server, location

Sets the number and size of the buffers used for reading a response from the proxied server, for a single connection. By default, the buffer size is equal to one memory page. This is either 4K or 8K, depending on a platform.

documentation for the proxy_buffering directive提供了更多解释:

When buffering is enabled, nginx receives a response from the proxied server as soon as possible, saving it into the buffers set by the proxy_buffer_size and proxy_buffers directives. If the whole response does not fit into memory, a part of it can be saved to a temporary file on the disk. …

When buffering is disabled, the response is passed to a client synchronously, immediately as it is received. …

<小时/>

那么，这一切意味着什么？

1. 缓冲区大小的增加将适用于每个连接，因此即使是 4K 也会有相当大的增加。

2. 您可能会注意到，缓冲区的大小默认等于平台 page 。长话短说，选择“最佳”数字可能超出了这个问题的范围，并且可能取决于操作系统和 CPU 架构。

3. 实际上，较大数量的较小缓冲区或较少数量的较大缓冲区之间的差异可能取决于操作系统提供的内存分配器，以及您拥有多少内存和多少内存你希望因为被分配而不被用于良好目的而被浪费。

   例如，我不会使用 proxy_buffers 1 1024k，因为这样您将为每个缓冲连接分配 1MB 缓冲区，即使内容很容易适合 4KB，这也是浪费(当然，还有一个鲜为人知的事实: unused-but-allocated-memory is virtually free since 1980s )。将缓冲区的默认数量选择为 8 可能也是有充分理由的。

4. 如果您使用 proxy_cache directive 缓存这些二进制文件的响应，那么增加缓冲区实际上可能有点毫无意义。 ，因为 Nginx 仍然会将其写入磁盘进行缓存，您最好不要浪费额外的内存来缓冲这些响应。

一个好的操作系统应该能够通过the file-system buffer-cache functionality对写入磁盘的内容进行适当的缓存。 。还有有点strangely-named article at Wikipedia ，因为“磁盘缓冲区”名称已被用于 HDD 硬件文章。

总而言之，可能几乎不需要直接在 Nginx 内重复缓冲。您也可以看看varnish-cache有关多级缓存主题的一些其他想法和灵感。事实上，“好的”操作系统应该能够处理许多事情，而有些人错误地试图通过特定于应用程序的功能来优化这些事情。

如果您不缓存响应，那么您不妨首先问问自己缓冲是否合适。

实际上，缓冲可能有助于更好地保护您的上游服务器免受 Slowloris attack vector 的影响。 — 但是，如果您确实让 Nginx 拥有兆字节大小的缓冲区，那么本质上您就是在暴露 Nginx 本身，因为它消耗了不合理的资源量来为恶意的客户端提供服务。

如果响应太大，您可能需要考虑在响应级别进行优化。例如。将一些内容分割成单独的文件；在文件级别进行压缩；使用 HTTP Content-Encoding 等进行 gzip 压缩。

<小时/>

TL;DR:这确实是一个相当广泛的问题，并且有太多的变量需要进行重要的调查才能针对任何给定情况得出“最佳”答案。