PHP MySQL Bulk inserts by BATCH with prepared statements

Question

我有一个插入大量数据的脚本。此数据主要是前一个插入的复制，但至少有一个值不同。因此，我准备语句并绑定(bind)参数以执行和重复。

但是，我尝试将其写入准备好的批量插入，一次插入 1000 行顶部。不幸的是，我无法让它工作。我现在使用的代码只是一次插入整个数据。然而，这是不希望的，因为数据量可能比测试的要大得多。

我现在使用的代码(一次性批量插入):

$Data = array(
    array("1", "2", "3", "4"),
    array("1", "2", "3", "5"),
    array("1", "2", "3", "6"),
    array("1", "2", "3", "7"),
    array("1", "2", "3", "8"),
    //ETC
    );
//AS YOU CAN SEE, ONLY COL4 CHANGES
$sql = $mysqli->prepare("INSERT INTO `Table` (Col1, Col2, Col3, Col4) VALUES ".implode(', ', array_fill(0, count($Data), "(?, ?, ?, ?)")));
foreach ($Data as $InsertData) {
    $sql->bind_param('iiii', $InsertData[0], $InsertData[1], $InsertData[2], $InsertData[3]);
    }
$sql->execute();

我想要实现的是，数据将使用上述准备好的语句插入，但限制为每批处理 1000(或任何其他数字)。我无法让它工作。我尝试使用 array_splice 和其他方法，但我无法让它工作。

Answer 1

您应该考虑使用 LOAD DATA INFILE。

它可能比对成批行使用 INSERT 快得多，即使您必须先写出一个临时文件。

$Data = array(
    array("1", "2", "3", "4"),
    array("1", "2", "3", "5"),
    array("1", "2", "3", "6"),
    array("1", "2", "3", "7"),
    array("1", "2", "3", "8"),
    //ETC
    );

$tempname = tempnam("/tmp", "data");
$fp = fopen($tempname, "w");
foreach ($Data as $fields) {
    fputcsv($fp, $fields);
}
fclose($fp);
if ($mysqli->query("
  LOAD DATA INFILE '$tempname' INTO TABLE `Table`
  FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '\"'
  ") === false) {
    error_log($mysqli->error);
}
unlink($tempname);

阅读https://dev.mysql.com/doc/refman/5.7/en/load-data.html确保您了解 LOCAL 选项以及 local_infile 和 secure_file_priv 配置选项。