php - Laravel 数据库外观内存使用情况

Question

我发现了用 php pdo 编写的很好的示例，它有助于迭代大量数据，而无需实际为整组结果分配内存:

    $sql = 'SELECT * from playlists limit 50000';
    $statement = $pdo->prepare($sql);
    $statement->execute();

    while (($result = $statement->fetch(PDO::FETCH_ASSOC)) !== false) {
        //do something
    }

我进行了一项调查，这种方法使用 18mb 内存。

如果我获取像这样的所有结果 $results = $statement->fetchAll(PDO::FETCH_ASSOC); 内存使用量将增加到 35mb。

使用laravel的Illuminate/database组件和非常相似的方法DB::table('playlists')->limit(50000)->get();也使用35mb 内存。

• 如何使用 Laravel 的 eloquent 或 DB 门面实现第一种方法？
• 您能否推荐一些关于内存使用差异如何形成的文章？

谢谢

Answer 1

当您使用 php(mysql 函数或 PDO)执行 SQL 查询时，从查询返回的所有数据都会作为“结果集”加载到内存中。

为了使用“结果集”中的数据，您必须在常规 php 数组/对象中获取它们。

PDOStatement::fetch - 从结果集中提取一行到内存中。

PDOStatement::fetchAll - 将结果集中的所有行提取到内存中，从而使内存使用量加倍。

Eloquent 有能力 chunk结果集。这相当于在 PDO 中执行“X 次 fetch”。

但是，如果您正在处理非常大的结果集，请考虑使用 SQL 限制。