php - 与 Laravel 在处理数百万条记录时使用 block 的普通查询构建器相比，Laravel Eloquents 和使用 block 是否更慢？

Question

我在开发 web 应用程序方面真的很新，所以使用 laravel 并学习它们，所以我原谅我提出的非常简单的问题......但是如果有人回答我这些问题并帮助我了解这些东西，那将非常有帮助...

让我首先从描述我的表结构开始:

我正在使用，MySql 的 InnoDB... 这张表目前存储了大约 13k 条记录，并且将来会存储数百万甚至数十亿条记录...

现在将我的问题描述如下:

当我从这个表中获取所有记录时，即 13k 条记录，使用 laravel 的普通查询构建器使用 block (以下代码描述了我获取记录的方式)，我在 1.39 秒内得到结果，这很好但实际上它应该更多高效(这些结果可能是因为我的系统内存有限，我没有在高端系统上测试过)，但是，如果我在这里也犯了错误，请告诉我。

DB::table($tableName->dataTableName)->orderBy('id')->chunk(100, function($data) {
    foreach ($data as $record) {
        echo "DateTime: " .$record->DateTime. " id: ".$record->meter_id;
    }
})

当我使用 block 对 eloquent 做同样的事情时(下面的代码描述了我使用 eloquent 获取记录的方式)，即使在 60 秒后我也没有得到完整的结果，这是完全不能接受的......

Data::orderBy('id')->chunk(100, function($data) {
    foreach ($data as $record) {
        echo "DateTime: " .$record->DateTime. " id: ".$record->meter_id
    }
})

我确实在data模型中使用其他模型来获取表名...以下是data模型的内容...

<?php namespace App;

use Illuminate\Database\Eloquent\Model;
use App\dataTableMaster as DataTableMaster;
use App\Company;

class Data extends Model {

    /**
     * The database table used by the model.
     *
     * @var string
     */
    protected $table = 'data';

//========This following constructor assigns table name depending upon client which has logged in... ===============
    public function __construct(){
        $user = \Auth::user();
        $associatedIdOfUser = $user->asso_id;
        $associatedCompanyObjectOfUser = Company::where('id',$associatedIdOfUser)->first();
        $companyRoot = $associatedCompanyObjectOfUser->getRoot();
        $tableObject = DataTableMaster::where('company_id',$companyRoot->id)->orderBy('created_at','desc')->first();
        $this->table = $tableObject->dataTableName;
    }

}

现在，我的问题是:

1. Eloquents 真的比普通的查询生成器慢吗，因为 Eloquents 创建了结果的对象，而后来却没有这样做。？？
2. 如果 Eloquents 与查询构建器相比并没有慢很多，即 Eloquents 也可以像查询构建器一样高效地获取数千或数百万条记录
   1. 我在这里犯了什么错误，因此我遇到了问题？是表结构还是方式，我正在获取记录还是什么？请解释一下。
   2. 使用 eloquents 处理这么大的表是否可取？
3. 如果在处理数百万条记录时使用 Eloquents 真的比用什么方法慢而且不建议使用，我们可以处理数百万张表，只有通过查询构建器才能处理它们吗？而且，为什么它们变慢了，是因为它创建了对象还是其他原因？？

Answer 1

使用 Eloquent 比直接使用 Query Builder 慢大约 3 倍 (benchmarks) . ORM 必须将数据映射到对象，因此它总是比较慢，没有办法解决这个问题。

如果您计划处理数百万条记录，请忘掉 ORM。它对你来说不存在了。您必须执行自定义查询。

按 100 分 block 是不够的。我发现增加到 5000 是安全的。您可以通过监控内存使用情况来增加或减少这个数字。

请记住，sql 比 php 快，所以尽可能多地使用 sql。请记住只选择您需要的字段 - 这会降低内存使用量。

Order by 在大数据集上很慢，因为它可能在文件系统而不是内存中进行排序。

DB::table('data')->select('DateTime', 'meter_id')->chunk(5000, function($data) {
    foreach ($data as $record) {
        echo "DateTime: " .$record->DateTime. " id: ".$record->meter_id;
    }
});

根据您的设置，echo 会大大降低速度。