mysql - 如何提高MySql中InnoDB表的插入速度

Question

我的任务是用随机数据填充 MySql 数据库中的几个 InnoDB 表以进行一些性能评估(目标是每个表 500GB)。

我已经在这两个表上放置了分区(每个分区 31 个，均匀分布)。在每个表中生成大约 40 GB 数据后，现在我的插入停留在每秒大约 150 次插入和表中。我相信我在服务器上的配置(120GB RAM，40 核 CPU 3GHz，SDA 磁盘)，我应该能够插入更多。

这些表上有很多索引，这会降低速度。

我通过以下方式使用 Ruby 脚本:

• 在每个查询中插入具有多个值的查询
• 将数据写入文件而不是进行 load-data-infile 查询
• 两者的混合，每个插入查询包含 100-300 个值，load-data-infile 文件包含 3000 行。

使用上述脚本的多个实例也不会增加表中每秒的插入次数。

以下是DB中的关键配置:

bulk_insert_buffer_size : 1G  
innodb_buffer_pool_size : 75G    
innodb_flush_log_at_trx_commit : 2 
innodb_doublewrite : OFF  
tx_isolation : READ-UNCOMMITTED    
foreign_key_checks : OFF    
unique_checks : OFF

请让我知道，我还可以做哪些其他事情来增加插入，因为我相信 MySql 可以处理更多的事情。我浏览了其他相关帖子，并根据这些帖子做了上述操作。

架构:http://pastebin.com/EaSyFX1j

Answer 1

这取决于限制因素是什么。你说表上有很多索引。众所周知，索引会减慢插入和更新操作。也许删除索引、插入数据并随后重新创建索引会更快(不要删除主索引和唯一索引，而只删除常规索引。