php - 最佳实践，尽快使用 PHP 在每一行导入数据提要和下载图像

Question

我有多个 CSV 文件(目前为 150k-500k 行)，其中包含我要导入到我的 MySQL 数据库中的数据。

这是我目前的工作流程:

1. 将文件导入数据库中的临时表(原始行)
2. 一次选择一行，将其分解为一个数组，清理并导入。

每个项目都有一个图像，我使用 curl 下载它。下载后，我使用 codeigniters resizer (gd2) 调整大小。这两个步骤都是绝对必要的，并且需要时间。我希望(需要)每天删除并重新导入新文件以保持内容新鲜。

临时数据库保存的原因是我是否可以使用 crontab 生成导入脚本的多个实例。这没有给我想要的结果。

关于我如何“快速”完成此操作，您有什么设计想法吗？

该站点在 4GB 1.8 Ghz 双核专用服务器上运行。

谢谢:)

Answer 1

MySQL 有一个名为 LOAD DATA INFILE 的功能，它的功能完全符合您的要求。

从问题来看，不清楚您是否已经在使用它？但即使你是，听起来你也可以改进你做事的方式。

像这样的 SQL 脚本可能适合您:

LOAD DATA INFILE filename.csv
INTO table tablename
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
(
  field1,
  field2,
  field3,
  @var1,
  @var2,
  etc
)
SET
  field4 = @var1 / 100,
  field5 = (SELECT id FROM table2 WHERE name=@var2 LIMIT 1),
  etc

这是一个相当复杂的示例，展示了如何将 CSV 数据直接导入到表格中，并一次性将其操作为正确的格式。

它的优点在于它实际上非常快。我们使用它每周导入一个 500,000 条记录的文件，它比读取文件并写入数据库的 PHP 程序快几个数量级。我们确实从 PHP 程序运行它，但 PHP 不负责任何导入； MySQL 通过一次查询自行完成所有工作。

在我们的例子中，尽管我们确实对导入数据进行了大量操作，但我们仍将其写入临时表，因为在将其输入主表之前我们还有大约十几个进一步的处理步骤。但在您的情况下，听起来这种方法可能会让您完全不必使用临时表。

MySQL 手册页:http://dev.mysql.com/doc/refman/5.1/en/load-data.html

至于下载图像，我不确定如何才能加快速度，除了关注哪些导入的记录已更新，并且只为已更改的记录获取图像。但我猜这是否是一个可行的解决方案，那么您可能已经在这样做了。

不过，我希望 MySQL 的建议对您有所帮助。