symfony - Symfony 和 Doctrine 中的批量插入 : How to select batch size?

Question

我正在使用 Symfony 2.7 和 Doctrine 开发一个网络应用程序。 Symfony 命令用于执行大量实体的更新。

我关注了Doctrine guidelines并不要对每个实体使用 $entityManager->flush() 。

这是 die Doctrine 示例代码:

<?php
$batchSize = 20;
for ($i = 1; $i <= 10000; ++$i) {
    $user = new CmsUser;
    $user->setStatus('user');
    $user->setUsername('user' . $i);
    $user->setName('Mr.Smith-' . $i);
    $em->persist($user);
    if (($i % $batchSize) === 0) {
        $em->flush();
    }
}
$em->flush(); //Persist objects that did not make up an entire batch

指南说:

You may need to experiment with the batch size to find the size that works best for you. Larger batch sizes mean more prepared statement reuse internally but also mean more work during flush.

所以我尝试了不同的批量大小。批处理大小越大，命令完成任务的速度就越快。

因此问题是:大批量的缺点是什么？为什么不在所有实体更新后仅使用 $entityManager->flush() 一次

文档只是说，较大的批量大小“意味着刷新期间需要更多工作”。但为什么/什么时候这会成为一个问题？

我能看到的唯一缺点是更新期间的异常:如果脚本在保存的更改刷新之前停止，则更改将丢失。这是唯一的限制吗？

Answer 1

What are the downsides of large batch sizes?

如果您创建 10,000 个实体，则大批量可能会使用大量内存。如果您不批量保存实体，它们将在内存中累积，如果程序达到内存限制，则可能会导致整个脚本崩溃。

Why not use $entityManager->flush() only once, after all entities have been updated

这是可能的，但在调用一次 flush() 之前在内存中存储 10,000 个实体将比保存 100 个实体 100 个实体使用更多的内存。它也可能需要更多时间。

The docu just says, that larger batch sizes "mean more work during flush". But why/when could this be a problem?

如果最大批量大小没有任何性能问题，可能是因为您的数据不够大，无法填充内存或破坏 PHP 的内存管理。

因此，批处理的大小取决于多种因素，主要是内存使用与时间。如果脚本消耗太多 RAM，则必须减小批处理的大小。但使用非常小的批处理可能会比较大的批处理花费更多的时间。因此，您必须运行多个测试才能调整此大小，以便它使用大部分可用内存，而不是更多。

<小时/>

我没有任何证据，但我记得曾与数千个实体合作过。当我只使用一个 flush() 时，我看到进度条变得越来越慢，看起来我的程序随着我在内存中添加越来越多的实体而变得越来越慢。