php - 调试内存泄漏，PHP 和 MySQL Blob 流式文件下载

Question

在 Mac 上使用 MAMP v2.0 __ Apache/2.0.64 (Unix) -- PHP/5.3.5 -- DAV/2 mod_ssl/2.0.64 -- OpenSSL/0.9。 7l -- MySQL 5.5.9

我有一个我正在尝试运行的脚本，它似乎给我带来了严重的内存泄漏，我已经尝试调试但无法弄清楚如何修复。

基本上，该脚本是文件管理器模块的一部分。它在给定 ID 时处理文件的下载。

整个文件存储在数据库表中，作为 BLOB，以 64kb block (每条记录)为单位，并根据请求向下流式传输到客户端。

Database: file_management

Tables: file_details, file_data

file_details:
FileID - int(10) AUTO_INCREMENT
FileTypeID - int(10)
FileType - varchar(60)
FileName - varchar(255)
FileDescription - varchar(255)
FileSize - bigint(20)
FileUploadDate - datetime
FileUploadBy - int(5)

file_details:
FileDataID - int(10) AUTO_INCREMENT
FileID - int(10)
FileData - BLOB

我实际上得到的错误是这个(来自 php 错误日志):

[2011 年 10 月 31 日 09:47:39] PHP fatal error :第 150 行/root/htdocs/file_manager/file_manager_download.php 中允许的 134217728 字节的内存大小耗尽(试图分配 63326173 字节)

现在，如果文件足够小(在本例中小于 40mb)，下载的实际功能会起作用，但是一旦超过这个大小，就像上面错误中的 60mb 文件一样，它就会失败。它所做的只是下载一个 0kb 的文件。

显然，134217728 字节大于 63326173 字节(128mb 对 60mb)。

Allowed memory size of 134217728 bytes 是 php.ini 中的指令:"memory_limit = 128M ; Maximum amount of memory a script may consume"

如果我将其设置为 256M，它允许我下载 60mb 的文件，以及最多约 80mb 的文件。

此外，如果我将其设置为 1024M，它允许我下载 260mb 甚至更大的文件。

因此您可以看到问题是脚本中某处的泄漏耗尽了所有内存。

这是下载脚本:

    ini_set('display_errors',1);
error_reporting(E_ALL & ~E_NOTICE);

$strDB=mysql_connect("localhost","username","password")or die ("Error connecting to mysql.. Error: (" . mysql_errno() . ") " . mysql_error());
$database=mysql_select_db("file_management",$strDB);

if (isset($_GET["id"])) {

    // List of nodes representing each 64kb chunk
    $nodelist = array();

    // Pull file meta-data
    $sql_GetFileDetails = "
    SELECT 
    FileID,
    FileTypeID,
    FileType,
    FileName,
    FileDescription,
    FileSize,
    FileUploadDate,
    FileUploadBy
    FROM file_details WHERE FileID = '".$_GET["id"]."';";

    $result_GetFileDetails = mysql_query($sql_GetFileDetails) or die ("No results for this FileID.<br/>Your Query: " . $sql_GetFileDetails . "<br/> Error: (" . mysql_errno() . ") " . mysql_error());

    if (mysql_num_rows($result_GetFileDetails) != 1) { die ("A MySQL error has occurred.<br/>Your Query: " . $sql_GetFileDetails . "<br/> Error: (" . mysql_errno() . ") " . mysql_error()); }

    // Set the file object to get details from
    $FileDetailsArray = mysql_fetch_assoc($result_GetFileDetails);

    // Pull the list of file inodes
    $sql_GetFileDataNodeIDs = "SELECT FileDataID FROM file_data WHERE FileID = ".$_GET["id"]." order by FileDataID";

    if (!$result_GetFileDataNodeIDs = mysql_query($sql_GetFileDataNodeIDs)) { die("Failure to retrive list of file inodes<br/>Your Query: " . $sql_GetFileDataNodeIDs . "<br/> Error: (" . mysql_errno() . ") " . mysql_error()); }

    while ($row_GetFileDataNodeIDs = mysql_fetch_assoc($result_GetFileDataNodeIDs)) {
        $nodelist[] = $row_GetFileDataNodeIDs["FileDataID"];
    }


    $FileExtension = explode(".",$FileDetailsArray["FileName"]);
    $FileExtension = strtolower($FileExtension[1]);

    // Determine Content Type 
    switch ($FileExtension) { 

        case "mp3":     $ctype="audio/mp3"; break;
        case "wav":     $ctype="audio/wav"; break;
        case "pdf":     $ctype="application/pdf"; break;
        //case "exe":       $ctype="application/octet-stream"; break;
        case "zip":     $ctype="application/zip"; break;
        case "doc":     $ctype="application/msword"; break;
        case "xls":     $ctype="application/vnd.ms-excel"; break;
        case "ppt":     $ctype="application/vnd.ms-powerpoint"; break;
        case "gif":     $ctype="application/force-download"; break; // This forces download, instead of viewing in browser.
        case "png":     $ctype="application/force-download"; break; // This forces download, instead of viewing in browser.
        case "jpeg":    $ctype="application/force-download"; break; // This forces download, instead of viewing in browser.
        case "jpg":     $ctype="application/force-download"; break; // This forces download, instead of viewing in browser.
        default:        $ctype="application/force-download";        // This forces download, instead of viewing in browser.
    } 

    // Send down the header to the client


    header("Date: ".gmdate("D, j M Y H:i:s e", time()));
    header("Cache-Control: max-age=2592000");
    //header("Last-Modified: ".gmdate("D, j M Y H:i:s e", $info['mtime']));
    //header("Etag: ".sprintf("\"%x-%x-%x\"", $info['ino'], $info['size'], $info['mtime']));
    header("Accept-Ranges: bytes");
    //header("Cache-Control: Expires ".gmdate("D, j M Y H:i:s e", $info['mtime']+2592000));
    header("Pragma: public"); // required
    header("Expires: 0");
    header("Cache-Control: must-revalidate, post-check=0, pre-check=0");
    header("Cache-Control: private",false); // required for certain browsers
    header("Content-Description: File Transfer");
    header("Content-Disposition: attachment; filename=\"".$FileDetailsArray["FileName"]."\"");
    header("Content-Transfer-Encoding: binary");
    header("Content-Type: ".$FileDetailsArray["FileSize"]);

    ob_end_clean();
    ob_start();
    ob_start("ob_gzhandler");

        $sql_GetFileDataBlobs = "SELECT FileData FROM file_data WHERE FileID = ".$_GET["id"]." ORDER BY FileDataID ASC;";

        if (!$result_GetFileDataBlobs = mysql_query($sql_GetFileDataBlobs)) { die("Failure to retrive list of file inodes<br/>Your Query: " . $sql_GetFileDataBlobs . "<br/> Error: (" . mysql_errno() . ") " . mysql_error()); }

        while ($row_GetFileDataBlobs = mysql_fetch_array($result_GetFileDataBlobs)) {
            echo $row_GetFileDataBlobs["FileData"];
        }


    ob_end_flush();
    header('Content-Length: '.ob_get_length());
    ob_end_flush();
}

我使用了 Xdebug 并输出了内存使用峰值的结果，但似乎没有任何东西接近极限，页面的内存使用峰值总计约为 900kb。

所以我认为它是将文件 block 聚合到内存中而不让它们离开，或者类似的东西，但文件 block 是唯一会达到该内存量的东西，导致脚本失败。

我可以提供将文件上传到数据库的脚本，如果你愿意，可以测试我的脚本，请告诉我

欢迎任何帮助!

米克

---

*/////////已解决/////////*

我只想对 hafichuk 表示感谢，他的 react 很好，解决了我的整个问题。

问题有两方面。

1 - 我没有在 while 循环中使用 ob_flush()。我在其中添加了它，它似乎释放了大量内存，支持更大的下载，但不是无限的。

例如，在 memory_limit = 128M 的情况下，我现在可以下载超过 40mb，实际上我现在可以下载到大约 200mb。但这是它再次失败的地方。第一个内存问题虽然解决了。

第 1 课:冲洗您的元素!

2 - 我正在使用 mysql_query 检索我的 SQL 查询的结果。问题是它缓冲了这些结果，这增加了我的内存限制问题。

我最终改用 mysql_unbuffered_query，现在可以完美运行。

然而，这确实有一些限制，它会在读取结果时锁定您的表。

第 2 课:如果不需要，不要缓冲 mysql 结果! (在程序限制内)

最后一课:

所有这些修复都有效，但是，需要进行更多测试以确保它们的组合没有问题。

另外，我学到了很多关于对象和 php 内存分配的知识，我只希望有一种比 xdebug 提供的方法更好地可视化调试进程的方法。如果有人对 xdebug 如何真正阐明这个过程有任何想法，请在评论中告诉我。

希望这对将来的其他人有所帮助。

干杯

米克

Answer 1

您应该只需要在 while 循环中执行“ob_flush()”。这将清除页面的缓冲区。您需要删除列出内容长度的最后一个 header ，因为您无法在数据开始后发送 header 。这应该不是下载文件的问题，只是更新下载的进度表。