mysql - JMeter将CSV中的所有记录插入sql数据库

Question

我有来自主数据库的大量数据，我正在通过应用一些逻辑来清理数据来读取和写入 CSV。这是一个超过 100K 的大数据集。我正在使用 beanshell 写入 CSV，速度非常快。

现在的最终目标是将这些数据写入下一个 mySQL 数据库。

理想情况下，我不希望涉及 CSV 并直接写入 mySQL DB，但这可能有一个问题，那就是我需要添加 JDBC 步骤来调用它以获取 100k 记录。

所以我想仍然写入 CSV，并从那里将记录拆分为 1000 或 2000 组，以减少 SQL 查询的负载。

注意:我无法删除 beanshell 部分，因为我正在解析 JSON 响应，然后写入 CSV，因此必须用它来解决一些问题。

任何建议解决方案都将受到高度赞赏。

Answer 1

如果您需要将整个 CSV 插入 MySQL 数据库，最快、最简单的方法是使用 LOAD DATA声明，例如:

LOAD DATA INFILE '/path/to/your/file.csv' INTO TABLE YOUR_TABLE_NAME_HERE FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\\r\\n'

<小时/>

我还建议重新考虑您的“beanshell”方法，since JMeter 3.1 it's recommended to use JSR223 Test Elements and Groovy language对于脚本编写，Groovy performs much better并且有built-in JSON support (以及 SQL support )。