个人中心
gpt4 book ai didi

MySQL如何优雅的删除大表实例详解

转载 作者：qq735679552 更新时间：2022-09-27 22:32:09 24 4
gpt4 key购买 nike

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章MySQL如何优雅的删除大表实例详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

前言 。

删除表，大家下意识想到的命令可能是直接使用DROP TABLE "表名"，这是初生牛犊的做法，因为当要删除的表达空间到几十G，甚至是几百G的表时候。这样一条命令下去，MySQL可能就直接夯住了，外在表现就是QPS急速下降，客户请求变慢.

解决办法 。

1.业务低峰时间手动执行删除 。

这个可能就需要DBA不辞辛劳，大晚上爬起来删表了.

2.先清除数据，最后再删除的方式 。

譬如1000万条数据，写脚本每次删除20万，睡眠一段时间，继续执行。这样也能做到对用户无感知.

3.对表文件（idb文件）做一个硬链接来加速删除 。

这个方法利用了linux下硬链接的知识，来进行快速删除，不记得话可以回去翻一下《鸟哥的linux私房菜》 。

?
1
2
3
4
5
6
7
ln data_center_update_log.ibd data_center_update_log.ibd.hdlk
 
[root@mysql01 sports_center]# ll
总用量 19903792
-rw-r ----- 1 mysql mysql  9076 10月 17 13:15 data_center_update_log.frm
-rw-r ----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd
-rw-r ----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk

执行上面命令后，我们就多了一个data_center_update_log.ibd.hdlk文件。此操作实际上不会占用磁盘空间，只是增加了一次对磁盘上文件的引用.

当我们删除其中任何一个文件时，都不会影响磁盘上真实的文件，只是将其引用数目减去1。当被引用的数目变为1的时候，再去删除文件，才会真正做IO来删除它.

正是利用这个特点，将由原来mysql来删除大文件的操作，转换为一个简单的操作系统级的文件删除，从而减少了对mysql的影响.

4.登陆mysql，执行drop表操作 。

很快，200万条数据只用了1秒完成，此操作是在创建硬链接后执行的 。

?
1
2
3
4
5
6
7
8
9
10
11
mysql> drop tables data_center_update_log;
Query OK, 0 rows affected (1.02 sec)
 
 
mysql> exit
Bye
 
退出来，再次查看数据目录，发现就只剩data_center_update_log.ibd.hdlk硬链接文件了
[root@mysql01 sports_center]# ll
总用量 19903792
-rw-r ----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk

5.如何正确删除ibd.hdlk硬链接文件呢 。

  • 虽然drop table之后，剩下的硬链接文件已经和mysql没有关系了。但如果文件过大，直接用rm命令来删除，也是会造成IO开销飙升，CPU负载过高，进而影响到MySQL。
  • 这里我们用到的方法，可以循环分块删除，慢慢地清理文件，通过一个脚本即可搞定
  • Truncate命令通常用于将文件缩小或扩展到指定的大小。如果文件大于指定的大小，则会丢失额外的数据。如果文件较短，则会对其进行扩展，并且扩展部分的读数为零字节。

5.1 安装truncate命令 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
[root@mysql01 ~] # cruncate
- bash : cruncate: 未找到命令
通常操作系统会安装truncate命令，该命令在coreutils安装包里面，如果没有安装可以使用下面命令安装
 
[root@mysql01 ~] # yum provides truncate
coreutils-8.22-24.el7.x86_64 : A set of basic GNU tools commonly used in shell scripts
源  ：base
匹配来源：
文件名  ： /usr/bin/truncate
 
可以看到truncate由coreutils安装包提供，下面安装coreutils安装包：
 
[root@mysql01 ~] # yum install -y coreutils

5.2 truncate常用选项 。

-c, --no-create --> 不创建任何文件 -o, --io-blocks --> 将大小视为存储块的数量，而不是字节 -r, --reference=RFILE --> 参考指定的文件大小 -s, --size=SIZE --> 按照指定的字节设置文件大小 。

5.3 truncate_bigfile.sh脚本 。

原理：使用truncate -s选项可以指定文件大小，通过脚本指定每次文件减少的大小，并sleep睡眠一定时间，从而达到可控的删除文件 。

附：truncate_bigfile.sh脚本 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
#! /bin/bash
#
 
TRUNCATE= /usr/bin/truncate
FILE=$1
 
if [ x "$1" = x ]; then
  echo "Please input filename in"
  exit 1;
else
  SIZE_M=$( du -sm "$1" | awk '{print $1}' )
 
  for i in $( seq "${SIZE_M}" -100 0)
  do
  sleep 1
  echo "${TRUNCATE} -s ${i}M ${FILE}"
  ${TRUNCATE} -s "${i}" M "${FILE}"
  done
fi
 
if [ $? - eq 0 ]; then
     \ rm -f "${FILE}"
else
     echo "Please check file"
fi

总结 。

到此这篇关于MySQL如何优雅的删除大表的文章就介绍到这了,更多相关MySQL优雅删除大表内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我！ 。

原文链接：https://www.cnblogs.com/easydb/p/14185881.html 。

最后此篇关于MySQL如何优雅的删除大表实例详解的文章就讲到这里了,如果你想了解更多关于MySQL如何优雅的删除大表实例详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

24 4 0
文章推荐： 超拽情侣网名一对 永远都想爱你的我
文章推荐： 深入android Unable to resolve target 'android-XX'详解
文章推荐： 支付宝AR扫码抽0.25-188现金红包 亲测中0.74
文章推荐： 探讨:如何在ScrollView中嵌套ListView
qq735679552
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
全站热门文章
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com