java - 如何跟踪在 MySQL 中加载的源文件？

Question

我在 MySQL 中加载文件。每个文件包含:

Date ShopNumber subject price quantity total

例如文件 1:

01/01/2011 Mexico Book1 $10 2 $20
01/01/2011 Mexico Book2 $10 2 $20
01/01/2011 Mexico Book3 $10 2 $20
...............................

文件2:

01/01/2011 Mexico Book4 $10 2 $20
01/01/2011 Mexico Book1 $10 1 $10
...............................

在 MySQL 表中:

01/01/2011 Mexico Book1 $10 3 $30
01/01/2011 Mexico Book2 $10 2 $20
01/01/2011 Mexico Book3 $10 2 $20
01/01/2011 Mexico Book4 $10 2 $20
...............................

问题是:我必须跟踪源文件并且不能将源文件包含到表的唯一键中 - 我只需要保留总计。重复很少见。可以添加另一个只保留重复项的表吗？谢谢。

Answer 1

我的应用程序包含导入功能，这是我解决将数据加载到 MySQL 和跟踪信息的问题的方法。

• 当用户上传文件时，应用程序将其重新格式化为制表符分隔的 uft8 编码的有效临时文件
• 文件的名称和一些其他关于导入的元信息应用程序插入到一个单独的表 import_info 并检索它的 id (update_id)

• 然后应用程序使用 LOAD DATA INFILE 查询从文件加载数据，并将文件路径和 update_id ( attr1、attr2、attr3来自文件，update_id来自查询参数)

  LOAD DATA LOCAL INFILE %(file_path)s
  INTO TABLE importdata
  CHARACTER SET 'utf8'
  (attr1, att2, att3, update_id)
  SET update_id = %(update_id)s;
  

• 在我的案例中，importdata 表允许应用程序在导入数据后合并到其他表中的重复项。如果合并成功，我会从 importdata 表中删除导入的数据。