performance - apache 服务器达到 MaxClients 设置，考虑提高 MaxClients 设置

Question

我正在使用 768mb ram 运行 centos 5.5。我一直在日志中获取 server reached MaxClients setting, consider raising the MaxClients setting，而且 apache 运行速度也很慢。当我查看仙人掌图时，它显示服务器甚至没有使用所有资源。这是当前配置

<IfModule prefork.c>
StartServers       8
MinSpareServers    5
MaxSpareServers    10
ServerLimit        1024
MaxClients         768
MaxRequestsPerChild  4000
</IfModule>

<IfModule worker.c>
StartServers         2
MaxClients         150
MinSpareThreads     25
MaxSpareThreads     75 
ThreadsPerChild     25
MaxRequestsPerChild  0
</IfModule>



free -m
             total       used       free     shared    buffers     cached
Mem:           768        352        415          0          0         37
-/+ buffers/cache:        315        452
Swap:            0          0          0



top - 11:03:54 up 41 days, 11:53,  1 user,  load average: 0.05, 0.03, 0.00
Tasks:  35 total,   1 running,  34 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us,  0.0%sy,  0.0%ni, 99.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.3%st
Mem:    786432k total,   389744k used,   396688k free,        0k buffers
Swap:        0k total,        0k used,        0k free,    38284k cached

我尝试了以下但服务器响应非常慢

<IfModule worker.c>
#StartServers         2
#MaxClients         150
#MinSpareThreads     25
#MaxSpareThreads     75
#ThreadsPerChild     25
#MaxRequestsPerChild  0

StartServers    20
MaxClients      1024
ServerLimit     1024
MinSpareThreads 128
MaxSpareThreads 768
ThreadsPerChild 64
MaxRequestsPerChild 0
</IfModule>

free -m
             total       used       free     shared    buffers     cached
Mem:           768        324        443          0          0         37
-/+ buffers/cache:        286        481
Swap:            0          0          0

@regilero

我已经更新到

<IfModule prefork.c>
  StartServers       12
  MinSpareServers    12
  MaxSpareServers    12
  MaxClients         50
  MaxRequestsPerChild  300
</IfModule>

使用顶部我看到

Tasks:  36 total,   1 running,  35 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0%us,  0.3%sy,  0.0%ni, 99.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:    786432k total,   613180k used,   173252k free,        0k buffers
Swap:        0k total,        0k used,        0k free,    76488k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                                                         
    1 root      20   0 10364   92   60 S  0.0  0.0   1:09.53 init                                                                                                                                                                            
    2 root      20   0     0    0    0 S  0.0  0.0   0:00.00 kthreadd/808                                                                                                                                                                    
    3 root      20   0     0    0    0 S  0.0  0.0   0:00.00 khelper/808                                                                                                                                                                     
  124 root      16  -4 12620    8    4 S  0.0  0.0   0:00.00 udevd                                                                                                                                                                           
  533 root      20   0 95504 5692  228 S  0.0  0.7   4:02.94 memcached                                                                                                                                                                       
  546 root      20   0  5924  332  276 S  0.0  0.0   6:54.51 syslogd                                                                                                                                                                         
  557 root      20   0  101m 1456  868 S  0.0  0.2  13:18.64 snmpd                                                                                                                                                                           
  570 root      20   0 62640  316  208 S  0.0  0.0   2:39.56 sshd                                                                                                                                                                            
  579 root      20   0 21656   24   20 S  0.0  0.0   0:00.00 xinetd                                                                                                                                                                          
  589 root      20   0 12072   12    8 S  0.0  0.0   0:00.05 mysqld_safe                                                                                                                                                                     
  940 mysql     20   0  559m 164m 3832 S  0.3 21.5 209:33.88 mysqld                                                                                                                                                                          
 1015 root      20   0 20880  200  132 S  0.0  0.0   0:10.48 crond                                                                                                                                                                           
 1023 root      20   0 46748    4    0 S  0.0  0.0   0:00.00 saslauthd                                                                                                                                                                       
 1024 root      20   0 46748    4    0 S  0.0  0.0   0:00.00 saslauthd                                                                                                                                                                       
 3605 root      20   0 62832 2168  636 S  0.0  0.3   0:02.58 sendmail                                                                                                                                                                        
 3613 smmsp     20   0 57712 1648  504 S  0.0  0.2   0:00.01 sendmail                                                                                                                                                                        
17610 root      20   0 85932 3312 2600 S  0.0  0.4   0:00.02 sshd                                                                                                                                                                            
17612 mcmap     20   0 86072 1760 1012 S  0.0  0.2   0:00.17 sshd                                                                                                                                                                            
17613 mcmap     20   0 12076 1656 1292 S  0.0  0.2   0:00.01 bash                                                                                                                                                                            
17637 root      20   0 45052 1432 1120 S  0.0  0.2   0:00.00 su                                                                                                                                                                              
17638 root      20   0 12180 1800 1324 S  0.0  0.2   0:00.08 bash                                                                                                                                                                            
17740 root      20   0  246m 9264 4516 S  0.0  1.2   0:00.19 httpd                                                                                                                                                                           
18264 apache    20   0  282m  43m 4940 S  0.0  5.7   0:00.56 httpd                                                                                                                                                                           
18514 apache    20   0  279m  40m 4832 S  0.0  5.3   0:01.47 httpd                                                                                                                                                                           
18518 apache    20   0  273m  36m 4396 S  0.0  4.7   0:00.45 httpd                                                                                                                                                                           
18528 apache    20   0  251m  13m 3660 S  0.0  1.8   0:00.41 httpd                                                                                                                                                                           
18529 apache    20   0  278m  40m 4340 S  0.0  5.3   0:00.99 httpd                                                                                                                                                                           
18530 apache    20   0  278m  40m 4268 S  0.0  5.3   0:00.67 httpd                                                                                                                                                                           
18548 apache    20   0  272m  33m 3516 S  0.0  4.4   0:00.28 httpd                                                                                                                                                                           
18552 apache    20   0  280m  42m 3684 S  0.0  5.5   0:00.48 httpd                                                                                                                                                                           
18553 apache    20   0  271m  33m 3768 S  0.0  4.3   0:00.45 httpd                                                                                                                                                                           
18555 apache    20   0  274m  36m 3672 S  0.0  4.7   0:00.58 httpd                                                                                                                                                                           
18572 apache    20   0  247m 9020 2856 S  0.0  1.1   0:00.01 httpd                                                                                                                                                                           
18578 apache    20   0  280m  42m 3684 S  0.0  5.6   0:00.76 httpd                                                                                                                                                                           
18589 apache    20   0  246m 5452  676 S  0.0  0.7   0:00.00 httpd                                                                                                                                                                           
18588 root      20   0 12624 1216  932 R  0.0  0.2   0:00.06


free -m
             total       used       free     shared    buffers     cached
Mem:           768        578        189          0          0         74
-/+ buffers/cache:        504        263
Swap:            0          0          0

刚刚添加了过去 4 小时仙人掌结果的当前图片。繁忙时段是星期一星期二。所以我会等到下周看到配置更改的进一步结果。但它看起来像以前一样改进，我最多只有 10 个可用线程。看看这个，你认为我可以做更多的改进吗？

free -m
             total       used       free     shared    buffers     cached
Mem:           768        619        148          0          0         49
-/+ buffers/cache:        570        197
Swap:            0          0          0

新测试

在 2GB Ram VPS 盒子上，我现在将 prefork 设置为

StartServers      20
MinSpareServers   20
MaxSpareServers   20
ServerLimit  256
MaxClients   256
MaxRequestsPerChild  4000

今天早上我的内存缓存服务器死了

Nov 20 09:28:40 vps22899094 kernel: Out of memory: Kill process 12517 (memcached) score 81 or sacrifice child
Nov 20 09:28:40 vps22899094 kernel: Killed process 12517, UID 497, (memcached) total-vm:565252kB, anon-rss:42940kB, file-rss:44kB

在 apache 中设置的最佳值应该是多少？

#/etc/sysconfig/memcached

PORT="11211"
USER="memcached"
MAXCONN="1024"
CACHESIZE="1024"
OPTIONS="-l 127.0.0.1"

/etc/my.cnf

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

bind-address=127.0.0.1

#script
thread_concurrency=2
query_cache_size = 16M
query_cache_type=1
query_cache_limit=5M

# MyISAM #
#key-buffer-size                = 32M
#myisam-recover                 = FORCE,BACKUP

# SAFETY #
#max-allowed-packet             = 16M
#max-connect-errors             = 1000000

# CACHES AND LIMITS #
tmp-table-size                 = 32M
max-heap-table-size            = 32M
#query-cache-type               = 0
#query-cache-size               = 0
max-connections                = 50
thread-cache-size              = 16
#open-files-limit               = 65535
#table-definition-cache         = 1024
#table-open-cache               = 2048

# INNODB #
#innodb-flush-method            = O_DIRECT
#innodb-log-files-in-group      = 2
#innodb-log-file-size           = 5M
#innodb-flush-log-at-trx-commit = 1
#innodb-file-per-table          = 1
#innodb-buffer-pool-size        = 921M
# LOGGING #
log-error                      = /var/log/mysqld.log
log-queries-not-using-indexes  = 1
slow-query-log                 = 1
slow-query-log-file            = /var/log/mysqld-slow.log

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

Answer 1

当您将 Apache 与 mod_php 一起使用时，Apache 在 prefork 中被强制执行模式，而不是 worker .因为，即使已知 php5 支持多线程，也知道一些 php5 库在多线程环境中表现不佳(例如，您将在一个线程上调用区域设置来更改其他 php 线程上的区域设置) .

所以，如果 php 没有像 php-fpm 那样以 cgi 方式运行，那么你在 apache 和 apache 中有 mod_php 在 prefork 模式下。
在您的测试中，您只是简单地评论了 prefork 设置并增加了 worker 设置，您现在拥有的是 prefork 设置的默认值和共享设置的一些更改值:

StartServers       20
MinSpareServers    5
MaxSpareServers    10
MaxClients         1024
MaxRequestsPerChild  0

这意味着您要求 apache 以 20 个进程开始，但您告诉它，如果有 10 个以上的进程什么都不做，它应该减少这个子进程的数量，以保持 5 到 10 个进程可用。 apache的增减速度为每分钟1次。很快，您将回到经典情况，即您的可用 apache 进程数量相当少(平均 2 个)。平均值很低，因为通常您有 5 个可用进程，但是一旦流量增加，它们就会全部使用，因此没有可用进程，因为 apache 创建新分支的速度非常慢。这肯定会增加，因为您的 PHP 请求似乎很长，它们没有提前完成，并且 apache 分支没有足够快地发布以处理另一个请求。

在最后一张图中看到红色峰值之前的少量绿色了吗？如果您可以在 1 分钟而不是 5 分钟的基础上绘制此图，您会发现此绿色数量不足以在没有任何错误消息的情况下接收传入流量。

现在您设置 1024 MaxClients .我猜这个配置修改后cacti图不会被拿走，因为这样修改后，当没有更多可用进程时，apache会继续fork新的 child ，限制为1024个忙碌的 child 。每个 child 需要 20MB 的内存(或者你可能在 PHP 中有一个很大的 memory_limit 并且允许像 64MB 或 256MB 这样的东西并且这些 PHP 请求确实使用了更多的内存)，也许是一个数据库服务器......你的服务器现在正在变慢，因为您只有 768MB 的 RAM。也许当 apache 尝试启动前 20 个 child 时，您已经达到了可用的 RAM 限制。

所以。一种经典的处理方法是检查 apache fork 使用的内存量(在它运行时执行一些顶级命令)，然后找出使用此数量的 RAM 可以处理多少并行请求(这意味着并行 apache 子进程)预 fork 模式)。假设它是 12 ， 例如。以这种方式将此数字放入 apache mpm 设置中:

<IfModule prefork.c>
  StartServers       12
  MinSpareServers    12
  MaxSpareServers    12
  MaxClients         12
  MaxRequestsPerChild  300
</IfModule>

这意味着您不会在流量增加或减少时移动 fork 的数量，因为您总是希望使用所有 RAM 并为流量高峰​​做好准备。 300意味着你在 300 个请求后回收每个 fork，它比 0 好，这意味着你不会有潜在的内存泄漏问题。 MaxClients 设置为 12 25 或 50，大于 12 来处理 ListenBacklog队列，它可以将一些请求排入队列，你可能需要一个更大的队列，但你可能会得到一些超时(删除了这个奇怪的前句，我不记得我为什么这么说，如果传入的请求超过 12 个，下一个将是推送到 Backlog 队列中，但您应该将 MaxClient 设置为您的目标进程数)。

是的，这意味着您不能处理超过 12 个并行请求。

如果你想处理更多的请求:

多买一些 内存

尝试在 中使用 apache worker 模式，但删除 mod_php 并使用 php 作为具有自己的池程序设置的并行守护程序(这称为 php-fpm )，将其与 fastcgi 连接。请注意，您肯定需要购买一些 RAM 以允许大量并行 php-fpm 进程，但可能比 mod_php

少。

减少在你的 php 进程中花费的时间 .从您的仙人掌图中，您必须解决潜在问题:11:25-11:30 左右出现真正的流量高峰，或者某些 php 代码变得非常缓慢。快速请求将减少并行请求的数量。

如果您的问题确实是流量高峰，则可以使用缓存解决方案，例如代理缓存服务器。如果问题是 PHP 中的随机缓慢，那么...这是一个应用程序问题，例如，您是否从 PHP 对另一个站点执行一些 HTTP 查询？

最后，正如@Jan Vlcinsky 所说，您可以尝试 nginx ，其中 php 将仅作为 可用php-fpm .如果您无法购买 RAM 并且必须处理绝对值得测试的大流量。

更新:关于 内部虚拟连接 (如果这是您的问题，但也许不是)。

查询 this link和 this previous answer .这是“正常的”，但如果您没有简单的虚拟主机，这些请求可能会影响您的主要繁重应用程序，生成缓慢的 http 查询并阻止普通用户访问您的 apache 进程。它们是在正常重新加载或子项管理时生成的。

如果您没有简单的基本“它有效”默认 Virtualhost 通过一些重写来阻止对您的应用程序的这些请求:

  RewriteCond %{HTTP_USER_AGENT} ^.*internal\ dummy\ connection.*$ [NC]
  RewriteRule .* - [F,L]

更新:

只有一个 Virtualhost 并不能保护您免受内部虚拟连接的影响，最糟糕的是，您现在确定这些连接是在您唯一的 Virtualhost 上建立的。所以你真的应该通过使用重写规则来避免对你的应用程序产生副作用。

阅读您的仙人掌图形，您的 apache 似乎不在工作模式下的 prefork 模式错误。运行 httpd -l或 apache2 -l在 debian 上，检查您是否有 worker.c 或 prefork.c。如果您处于工作模式，您可能会在应用程序中遇到一些 PHP 问题，但您应该检查工作设置，这是一个示例:

<IfModule worker.c>
  StartServers           3
  MaxClients           500
  MinSpareThreads       75
  MaxSpareThreads      250 
  ThreadsPerChild       25
  MaxRequestsPerChild  300
</IfModule>

您启动 3 个进程，每个进程包含 25 个线程(因此默认情况下有 3*25=75 个并行请求可用)，您允许 75 个线程不执行任何操作，一旦使用一个线程，就会 fork 一个新进程，添加 25 个线程。当你有超过 250 个线程无所事事(10 个进程)时，一些进程会被杀死。您必须根据您的内存调整这些设置。在这里，您允许 500 个并行进程(即 25 个线程的 20 个进程)。您的用法可能更多:

<IfModule worker.c>
  StartServers           2
  MaxClients           250
  MinSpareThreads       50
  MaxSpareThreads      150 
  ThreadsPerChild       25
  MaxRequestsPerChild  300
</IfModule>