Java批量插入MySQL非常慢-6ren

Java批量插入MySQL非常慢

转载作者：可可西里更新时间：2023-11-01 08:54:45

26

4

<分区>

Possible Duplicate:
JDBC batch insert performance

我在一个类中有以下方法:

    public void insertShingleSets(Vector<ShingleSet> shingleSets)
    {
        String sql = "INSERT   INTO tblPostingsShingles("+
                "rowId, " +                    
                "shingle) " +                     
                "VALUES(?,?);";

        PreparedStatement statement = null;
        try {
            statement = conn.prepareStatement(sql);
            for (int i = 0; i < shingleSets.size(); i++)
            {   String id = shingleSets.get(i).getRowId();
                String shingle = shingleSets.get(i).getShingle();
                statement.setInt(1, Integer.parseInt(id));
                statement.setString(2, shingle);
                statement.addBatch();
                if ((i + 1) % 1000 == 0) {
                    System.out.println("doing a batch " + i);         //-------------
                    statement.executeBatch(); // Execute every 1000 items.
                    System.out.println("done batch " + i);            //-------------
                             }
            }
            statement.executeBatch();
        }
       catch (SQLException ex)
            {
                // handle any errors
                System.out.println("SQLException: " + ex.getMessage());
                System.out.println("SQLState: " + ex.getSQLState());
                System.out.println("VendorError: " + ex.getErrorCode());
            }

        finally {
            if (statement != null)
                try { statement.close();
                } catch (SQLException logOrIgnore) {}
            if (conn != null)
                try { conn.close();
                } catch (SQLException logOrIgnore) {}
        }
    }

执行之间的时间:System.out.println("doing a batch"+ i);并执行:System.out.println("done batch"+ i);大约 30 秒，考虑到它只是将两列插入到三列表中(另一列是自动编号主键，并且在启动/测试时表中没有行)，这似乎相当长。我唯一能想到的是，在调用此方法之前，另一种方法使用检查表 tblPostingsShigles 的查询来检查是否存在某些 rowId。但是，我原以为该方法完成时会释放任何锁(它与该方法具有相同的 finally 子句)。任何建议将不胜感激。戴夫

26

4

0

文章推荐： c# - emgu 在图像 b 中找到图像 a

文章推荐： MySQL在选择时获得唯一键

文章推荐： php - 通过 PHP 大量插入 MySQL 数据库会跳过名称

python - 为什么 DataFrame.loc[[1]] 比 df.ix [[1]] 慢 1,800 倍，比 df.loc[1] 慢 3,500 倍？
自己试试看: import pandas as pd s=pd.Series(xrange(5000000)) %timeit s.loc[[0]] # You need pandas 0.15.1
Delphi (DataSnap) 慢
我最近开始使用 Delphi 中的 DataSnap 来生成 RESTful Web 服务。在遵循 Marco Cantu 本人和互联网上其他几个人的指导后，我成功地使整个“链条”正常工作。但是有一
java - 2核Mac上有多个Java线程-慢
我一直在为操作系统类(class)编写以下代码，但结果有些奇怪。该代码创建x线程并同时运行它们，以便将两个平方矩阵相乘。每个线程将输入矩阵的Number_of_rows/Number_of_threa
r - 为什么并行包比只使用apply 慢？
我正在尝试确定何时使用 parallel包以加快运行某些分析所需的时间。我需要做的一件事是创建矩阵，比较具有不同行数的两个数据框中的变量。我在 StackOverflow 上问了一个关于有效方法的问题
haskell - 为什么 <$> 慢？
我最近对我的代码进行了一些清理，并在此过程中更改了此内容(不完全是真实的代码): read = act readSTRef test1 term i var = do t v^!terms.
c# - 分页查询如何*慢*？
我正在计时查询和同一个查询的执行时间，分页。 foreach (var x in productSource.OrderBy(p => p.AdminDisplayName) .Wher
c# - BackgroundWorker 慢
我正在开发一个项目 (WPF)，我有一个 Datagrid 从数据库加载超过 5000 条记录，所以我使用 BackgroundWorker 来通知用户数据正在加载，但它太慢了，我需要等待将近 2分钟
MYSQL 慢 ORDER BY
我在查询中添加 ORDER BY 时遇到问题。没有 ORDER BY 查询大约需要 26ms，一旦我添加 ORDER BY，它大约需要 20s。我尝试了几种不同的方法，但似乎可以减少时间。尝试 F
Android 慢 GridView
我是 Android 开发新手，遇到了性能问题。当我的 GridView 有太多项目时，它会变得有点慢。有什么方法可以让它运行得更快一些吗？这是我使用的代码: 适配器: public class C
java/mysql/慢
这里的要点是: 1.设置query_cache_type = 0;重置查询缓存； 2.在 heidisql(或任何其他客户端 UI)中运行任何查询 --> 执行，例如 45 毫秒 3.使用以下代码运行
PostgreSQL 慢 DISTINCT WHERE
想象下表: CREATE TABLE drops( id BIGSERIAL PRIMARY KEY, loc VARCHAR(5) NOT NULL, tag INT NOT
sql - 慢 WHERE IN 查询结束
我的表 test_table 中的示例数据: date symbol value created_time 2010-01-09 symbol1
php - 很多查询 - 慢？
首先，如果已经有人问过这个问题，我深表歉意，至少我找不到任何东西。无论如何，我将每 5 分钟运行一次 cron 任务。该脚本加载 79 个外部页面，而每个页面包含大约 200 个我需要在数据库中检查
mysql - SQL查询/慢
我有下面的 SQL 代码，它来自 MySQL 数据库。现在它给了我期望的结果，但是查询很慢，我想我应该在进一步之前加快这个查询的速度。表agentstatusinformation有: PKEY(主
ios - 核心数据对象等级(慢)
我需要获取一个对象在 Core Data 中数千个其他对象之间的排名。现在，这是我的代码: - (void)rankMethod { //Fetch all objects NSFet
ios - ABAddressBookCopyArrayOfAllPeople 慢
我正在编写一个应用程序，我需要在其中读取用户的地址簿并显示他所有联系人的列表。我正在测试的 iPhone 有大约 100 个联系人，加载联系人确实需要很多时间。 ABAddressBookRef ad
javascript - InnerHTML 慢？
我正在使用 javascript 将 160 行添加到包含 10 列的表格中。如果我这样做: var cellText = document.createTextNode(value); cell.a
swift - UITableView 慢
我是 Swift 的新手，我已经设置了一个 tableView，它从 JSON 提要中提取数据并将其加载到表中。表格加载正常，但是当表格中有超过 10 个单元格时，它会变得缓慢且有些滞后，特别是它到
c# - 慢 DeterminePostBackMode()
我在 InitializeCulture 和 Page_PreInit 事件之间的 asp.net 页面中遇到性能问题。当我重写 DeterminePostBackMode() 时，我发现问题出在 b
SSL 慢。建立安全连接花费的时间太长
我在 Hetzner 上有一个带有 256GB RAM 6 个 CPU(12 个线程) 的专用服务器，它位于德国。我有 CENTOS 7.5。 EA4。我的问题是 SSL。每天大约 2 小时，我们在

首页

博学

6Ren·AI

商城

Java批量插入MySQL非常慢