php - Sphinx 即使长时间没有事件，如何保持连接事件？

Question

我正在使用 PHP 并禁用 AUTOCOMIT 在实时索引中进行批量插入，例如

// sphinx connection
$sphinxql = mysqli_connect($sphinxql_host.':'.$sphinxql_port,'',''); 

//do some other time consuming work

//sphinx start transaction
mysqli_begin_transaction($sphinxql);

//do 50k updates or inserts

// Commit transaction
mysqli_commit($sphinxql);

并让脚本运行过夜，早上我看到了

PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate
212334 bytes) in

所以当我仔细检查 nohup.out 文件时，我注意到这些行，

PHP Warning: mysqli_query(): MySQL server has gone away in /home/script.php on line 502
Warning: mysqli_query(): MySQL server has gone away in /home/script.php on line 502

这些行之前的内存使用量是正常的，但是这些行之后的内存使用量开始增加，并且它达到了 php mem_limit 并给出了 PHP fatal error 然后死了。

in script.php , line 502 is

mysqli_query($sphinxql,$update_query_sphinx);

所以我的猜测是，sphinx 服务器在几小时/几分钟不活动后关闭/死亡。

我尝试在 sphinx.conf 中进行设置

client_timeout = 3600

重新启动搜索

systemctl restart searchd

我仍然面临着同样的问题。

那么当长时间没有事件时，我怎样才能不让 sphinx 服务器死机呢？

<小时/>

添加了更多信息 -

我一次从 mysql 获取 50k block 的数据，并执行 while 循环来获取每一行并在 sphinx RT 索引中更新它。像这样

//6mil rows update in mysql, so it takes around 18-20 minutes to complete this then comes this following part.

$subset_count = 50000 ;

$total_count_query = "SELECT COUNT(*) as total_count FROM content WHERE enabled = '1'" ;
$total_count = mysqli_query ($conn,$total_count_query);
$total_count = mysqli_fetch_assoc($total_count);
$total_count = $total_count['total_count'];

$current_count = 0;

while ($current_count <= $total_count){

$get_mysql_data_query = "SELECT record_num, views , comments, votes FROM content WHERE enabled = 1  ORDER BY record_num ASC LIMIT $current_count , $subset_count ";

//sphinx start transaction
mysqli_begin_transaction($sphinxql);

if ($result = mysqli_query($conn, $get_mysql_data_query)) {

    /* fetch associative array */
    while ($row = mysqli_fetch_assoc($result)) {

    //sphinx escape whole array
    $escaped_sphinx = mysqli_real_escape_array($sphinxql,$row);

    //update data in sphinx index
    $update_query_sphinx = "UPDATE $sphinx_index  
    SET 
        views       = ".$escaped_sphinx['views']." , 
        comments    = ".$escaped_sphinx['comments']." , 
        votes   = ".$escaped_sphinx['votes']." 
    WHERE 
        id          = ".$escaped_sphinx['record_num']." ";  

    mysqli_query ($sphinxql,$update_query_sphinx);

    }

    /* free result set */
    mysqli_free_result($result);
}
// Commit transaction
mysqli_commit($sphinxql);

$current_count = $current_count + $subset_count ;
}

Answer 1

这里有几个问题，都与运行大进程有关。

1. MySQL 服务器已消失 - 这通常意味着 MySQL 已超时，但也可能也意味着 MySQL 进程因崩溃而崩溃内存不足。简而言之，这意味着MySQL已经停止响应，并且没有告诉客户端原因(即没有直接查询错误)。正如您所说，您在单个事务中运行 50k 更新，很可能 MySQL 刚刚耗尽了内存。
2. 允许的内存大小 134217728 字节已耗尽 - 意味着 PHP 内存不足。这也让人相信 MySQL 内存不足的想法。

那么该怎么办呢？

最初的权宜之计是增加 PHP 和 MySQL 的内存限制。这并不能真正解决根本原因，并且根据您对部署堆栈的控制量(以及您所拥有的知识)，这可能是不可能的。

正如一些人提到的，批量处理过程可能会有所帮助。在不知道您正在解决的实际问题的情况下，很难说出执行此操作的最佳方法。如果您可以批量计算 10000 或 20000 条记录而不是 50000 条记录，则可以解决您的问题。如果在单个进程中花费太长时间，您还可以考虑使用消息队列( RabbitMQ 是一个很好的消息队列，我在许多项目中使用过)，这样您就可以运行多个进程同时处理较小的批处理。

如果您正在做的事情需要了解所有超过 600 万条记录来执行计算，您可能会将流程分成多个较小的步骤，缓存“迄今为止”完成的工作“(如此)，然后继续下一个流程中的下一步。如何干净地做到这一点是很困难的(同样，像 RabbitMQ 这样的东西可以通过在每个进程完成时触发一个事件来简化这一过程，以便下一个进程可以启动)。

所以，简而言之，有两个最好的选择:

1. 尽可能投入更多资源/内存来解决问题
2. 将问题分解为更小的、独立的部分。