java - 解析 CSV 文件并将值存储在变量中

Question

我对 Java 编程相当陌生。我有这样的要求:从 CSV 文件中读取行(大约 25 列)并使用 JAVA 将其加载到 MySQL 数据库中。

1. 数据必须一次插入 1 行，因为必须使用每行数据插入或更新多个表。

2. 我需要某种机制来映射标题(CSV 中的第一行及其相应的值)，这样将来如果我要在 CSV 文件中添加另一列，它不会影响我的程序。

3. 它们可能是我的 CSV 文件中的字段，其中包含“,”逗号作为字段值的一部分。

4. 使用的分隔符也是“,”逗号。

关于我应该从哪里开始以及要遵循的步骤的任何建议。在插入每一行之前，我需要从数据库执行 Multiple Select 语句，因为相关表中可能已经填充了很少的数据，并且我需要查询项目 ID 来插入主记录表。

假设我有包含四个项目的 CSV，

ProductID , Name  , Store Name , Country
   101    , Pencil, Evergreen , Finland

所以我需要将这些值插入具有以下架构的产品表中。

**Product_Table:**
+------------------+----------------------+------+-----+---------+-------+
| Field            | Type                 | Null | Key | Default | Extra |
+------------------+----------------------+------+-----+---------+-------+
| Product_ID       | varchar(16)          | NO   | PRI | NULL    |       |
| Name             | varchar(64)          | NO   | MUL | NULL    |       |
| Store_ID         | int(10) unsigned     | NO   |     | NULL    |       |
| Country_ID       | smallint(5) unsigned | NO   |     | NULL    |       |


**Store_Table**
+------------------+----------------------+------+-----+---------+-------+
| Field            | Type                 | Null | Key | Default | Extra |
+------------------+----------------------+------+-----+---------+-------+
| Store_ID         | varchar(16)          | NO   | PRI | NULL    |  AI   |
| Name             | varchar(64)          | NO   | MUL | NULL    |       |


**Country_Table**
+------------------+----------------------+------+-----+---------+-------+
| Field            | Type                 | Null | Key | Default | Extra |
+------------------+----------------------+------+-----+---------+-------+
| Country_ID       | varchar(16)          | NO   | PRI | NULL    |  AI   |
| Country_Name     | varchar(64)          | NO   | MUL | NULL    |       |

正如你所看到的，我需要从 CSV 中传递商店名称和国家/地区名称字段值来获取相应的 ID(如果存在)，并且如果然后，他们不会先插入这些记录以获取相应的 ID，然后再将数据插入 Product_Table:

第一次加载 CSV 的最大记录数将少于 1000 条，接下来的加载每天最多只会有 50 条记录。所以时间不是问题。逻辑和

我正在考虑一些逻辑，将 CSV 中的每个值存储在某个变量中，例如

ProductID  = ProductID value from CSV 
ProductName = Name value from CSV

这样将来，如果 CSV 中的值的顺序发生变化，即使这样我也可以使用这些变量来插入和查询我的 MYSQL 表架构。

Answer 1

使用 uniVocity-parsers 附带的 CSV 解析器可靠地为您处理这个问题:

CsvParserSettings settings = new CsvParserSettings(); // many options here, check the tutorial.

CsvParser parser = new CsvParser(settings);
List<String[]> allRows = parser.parseAll(new FileReader(new File("path/to/file.csv")));

在 JDBC 方面，假设您使用的是 PreparedStatement，只需迭代 allRows 并使用 statement.setObject(index + 1, row[index]) 插入数据(假设索引从 0 开始)。对于大多数数据库 - MySQL 就是其中之一 - 您不需要将字符串转换为数据库期望的类型。

披露:我是这个库的作者。它是开源且免费的(Apache V2.0 许可证)。