php - 解析php数据的最短最快的方法

Question

我有一些文件需要转换成数据库。这些文件(我有超过 100k)来自旧系统(从 COBOL 脚本生成)。我现在是将数据从该系统迁移到新系统的团队的一员。

现在，因为我们有很多文件要解析(每个文件从 50mb 到 100mb)，我想确保使用正确的方法将它们转换为 sql 语句。

大多数文件具有以下格式:

#id<tab>name<tab>address1<tab>address2<tab>city<tab>state<tab>zip<tab>country<tab>#\n

address2 是可选的，可以为空或

#id<tab>client<tab>taxid<tab>tagid<tab>address1<tab>address2<tab>city<tab>state<tab>zip<tab>country<tab>#\n

这是最常见的 2 行(我会说大约 50%)，除此之外，所有行看起来都一样，但信息不同。

现在，我的问题是我应该怎么做才能尽可能高效地打开它们并正确解析它们？

Answer 1

老实说，我不会为此使用 PHP。我会用awk。使用像这样具有可预测格式的输入，它会运行得更快，并且您可以输出到 SQL 命令中，您也可以通过命令行插入这些命令。

如果您有其他需要使用 PHP 的原因，您可能需要调查 fgetcsv()功能。输出是一个数组，您可以将其解析到插入中。第一个用户提供的示例采用 CSV 并将其插入 MySQL。而且这个函数确实让你指定你自己的分隔符，所以制表符就可以了。

如果第一列中的 id# 在您的输入数据中是唯一的，那么您绝对应该将其插入到 mysql 中的主键中，以免在您必须重新启动批处理时重复数据。