mysql - 将平面文件数据库传输到 MySQL 数据库

Question

我有一个平面文件数据库(是的，我知道很恶心——最糟糕的是它有 1.4GB)，我正在将它迁移到 MySQL 数据库。问题是我不确定如何去做 - 我已经检查了这里的每个相关问题，但没有一个与我想做的有关，也与我的数据库当前如何设置无关。

我当前的平面文件数据库设置为普通 MySQL 行是它自己的文件，而 MySQL 表就是目录。因此，例如，如果您有一个名为 Jon 的用户，那么在名为/members/的目录中将有一个该用户的文件。该文件中包含用户的各种信息，包括用户 ID、排名等 - 所有信息均由制表符分隔，均位于不同的行 (userid\t4)。

所以这是一个示例用户文件:

userid     4
notes      staff notes: bla bla    staff2 notes: bla bla bla
username   Example

那么如何将上面的转换成自己在MySQL中的行和字段呢？如果可能的话，我可以同时处理数千个这样的文件吗？

谢谢。

Answer 1

这似乎是一个相当微不足道的脚本问题。

请参阅下面的示例(伪代码)，了解如何将 user 目录读入 user 表。

显然，您希望它更健壮一些，具有错误检查/数据验证功能，但仅出于透视目的，请参见下文:

for file in list_dir('/path/to/users/'):
  line_data = dict()
  for line in open(file, 'r'):
    key, value = line.split("\t", 1)
    line_data[key] = value

  mysql_query('''
    INSERT INTO 
      users 
    SET 
      user_id = $1,
      foo = $2,
      bar = $3
    ''', 
    (
      line_data['user_id'],
      line_data['foo'],
      line_data['bar']
    )
  )