mysql - 增加对mysql的同时请求数

Question

最近我们将 rails 网站的应用服务器从 mongrel 更改为 passenger [使用 REE 和 Rails 2.3.8]。生产设置有 6 台机器指向一个 mysql 服务器和一个 memcache 服务器。之前每台机器有 5 个 mongrel 实例。现在我们有 45 个 passenger 实例，因为每台机器的 RAM 为 16GB，带有 2、4 核 cpu。一旦我们在生产中部署了这个 passenger 设置。网站变得如此缓慢。并且所有请求开始排队。最终我们不得不回滚。

现在我们怀疑原因应该是Mysql服务器的负载增加了。和以前一样只有 30 个 mysql 连接，现在我们有 275 个连接。 mysql 服务器的设置与我们的网站机器类似。但所有配置都保留为默认限制。尽管我们有 16GB 内存，但 buffer_pool_size 只有 8 MB。并发线程数为 8。

增加与 mysql 的同时连接是否会导致 mysql 响应比我们只有 30 个连接时慢？如果是这样，我们如何才能使 mysql 在 275 个同时连接的情况下表现更好。

非常感谢任何建议。

更新:

关于mysql服务器的更多信息:

RAM:16GB CPU:两个处理器，每个处理器有 4 个内核

表是 innoDB。只有默认的 innodb 配置值。

谢谢

Answer 1

空闲的 MySQL 连接会耗尽服务器上的堆栈和网络缓冲区。这相当于大约 200 KB 内存和零 CPU。

在仅使用 InnoDB 的数据库中，您应该编辑/etc/sysctl.conf 以包含 vm.swappiness = 0 以尽可能延迟换出进程。然后，您应该将 innodb_buffer_pool_size 增加到大约 80% 的系统内存，假设有一个专用的数据库服务器机器。确保框不会交换，即 VSIZE 不应超过系统 RAM。

innodb_thread_concurrency 可以设置为 0(无限制)或 32 到 64，如果你有点偏执，假设 MySQL 5.5。该限制在 5.1 中较低，在 MySQL 5.0 中约为 4-8。不建议在 8 核或 16 核的机器上使用这种过时版本的 MySQL，MySQL 5.5 和 InnoDB 1.1 的并发性有了巨大的改进。

变量 thread_concurrency 在当前的 Linux 中没有意义。它用于在 Linux 中调用 pthread_setconcurrency()，它什么也不做。它曾经在旧的 Solaris/SunOS 中有一个功能。

如果没有进一步的信息，您的性能问题的原因无法通过任何安全措施来确定，但上述一般性建议可能会有所帮助。可以在 http://mysqldump.azundris.com/archives/72-Rubyisms.html 中找到针对我有限的 Ruby 经验的更多一般性建议。那篇文章是我曾经为一个非常流行的 Facebook 应用程序的早期版本所做的咨询工作的总结。

更新:

根据 http://pastebin.com/pT3r6A9q ，您正在运行 5.0.45-community-log，它非常旧并且在并发负载下表现不佳。使用当前的 5.5 版本，它的性能应该方式比您现有的更好。

此外，修复 innodb_buffer_pool_size。这里只有 8M 的游泳池，你哪儿也去不了。

当你这样做时，innodb_file_per_table 应该是 ON。

不要在不理解 innodb_flush_log_at_trx_commit = 2 这意味着什么的情况下打开它，但它可能会暂时帮助您，具体取决于您的持久性要求。不过，这无论如何都不是解决问题的永久方法。

如果您有任何实质性的写入操作，您还需要查看 innodb_log_file_size 和 innodb_log_buffer_size。

如果安装可以赚钱，那么您非常需要专业人士的帮助。我不再将此作为一种职业，但我可以推荐人。如果需要，请在 Stack Overflow 之外联系我。

更新:

根据您的进程列表，您有很多查询处于发送数据状态。 MySQL 在执行查询时处于此状态，即内部主要的 Join Loop/Query Execution 循环处于繁忙状态。 SHOW ENGINE INNODB STATUS\G 会显示类似的内容

...
--------------
ROW OPERATIONS
--------------
3 queries inside InnoDB, 0 queries in queue
...

如果这个数字大于 4-8(在 InnoDB 中)，5.0.x 就会有问题。 5.5.x 在这里会表现得更好。

关于 my.cnf:请参阅我之前对您的 InnoDB 的评论。另请参阅我对 thread_concurrency(没有 innodb_ 前缀)的评论:

 # On Linux, this does exactly nothing.
 thread_concurrency = 8

您根本缺少所有 innodb 配置。假设您正在使用 innodb 表，无论您做什么，您的表现都不会很好。