个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
24
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章MySQL 线上数据库清理数据的方法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
。
。
今天下午，开发的同事提来一个需求，需要在线上要删除一些数据记录，简单看了看数据的分布，大概是要删除数据表中的两千七百多万条记录，数据表的总记录是两千八百多万，也就是说，要删除的记录占了总记录的绝大部分比重，两千七百多万的数据记录，要是删除的话，使用的时间是相当长的，对线上的业务肯定会造成影响。这里将实际的应用案例简单重构为以下方法:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
mysql>
select
date
,
count
(*)
from
test.tbl_a
group
by
date
;
+
----------+----------+
|
date
|
count
(*) |
+
----------+----------+
| | 63103 |
| 20190118 | |
| | 125916 |
| 20190120 | |
| | 129198 |
| 20190122 | |
| | 5191247 |
+
----------+----------+
rows
in
set
(13.21 sec)
|
上面就是重构之后的表的结构，我们可以看到，test数据库中的表tbl_b按照date分组之后，每个组的数据量都不小，而我们的需求是将date为20190118和20190123的记录删除，可以看到这两种记录总计有两千多万条，占了表中数据的绝大部分，如果直接删除的话，线上的业务肯定会受到阻塞.
以下是操作方法，需要注意的是，应用下面的操作方法的前提是:
要删除的数据占了数据表中的绝大部分.
。
。
通过分析，知道剩余的表数据对于全表来说是很小的一部分，这个操作我们分为4步:
1.我们先把剩余的数据存入到另外一个数据库test1中:
|
1
2
3
|
create
table
test1.tbl_b_new
as
select
*
from
test.tbl_b
where
date
in
(,,,,);
|
这个操作的时间只有3s左右； 。
2.我们在test1数据库中创建一个同名的表tbl_b,它的结构和test数据库中的tbl_b数据结构一致:
|
1
|
create
table
test1.tbl_b
like
test.tbl_b;
|
3.紧接着，我们使用数据库中的rename操作将表test中的表tbl_b和test1中的表tbl_b进行交换，等价于将test数据库中的表所有数据清除.
|
1
2
3
|
RENAME
TABLE
test.tbl_b
TO
test1.tbl_b_bak,
test1.tbl_b
TO
test.tbl_b,
test1.tbl_b_bak
TO
test1.tbl_b;
|
4.再讲第一步保存的剩余数据填充到新表中来，如下:
|
1
|
insert
into
test.tbl_b
select
*
from
test1.tbl_b_new;
|
。
。
看上去我们好像把问题搞复杂了，直接删除的事情，被我们搞的多了好几个步骤，但是实际上不是这样的，这一套操作可以帮我们节省好几分钟时间，对线上业务的影响也更小，原因如下:
第二个特点给我们提供了一种思路，在一个很着急的业务中，要使用一个表的时候，往往不给我们留充足的时间备份表，如果我们想要删除一个大表里面的数据，而且需要进行相关备份，我们可以通过rename操作迅速处理，然后再想办法去备份rename之后的表.
上面的例子中使用create table as 和create table like两种克隆表的方式，有几点需要注意:
create table like方式会完整地克隆表结构，但不会插入数据，需要单独使用insert into或load data方式加载数据 create table as 方式会部分克隆表结构，完整保留数据 。
如果有兴趣，可以做做试验进行验证.
以上就是MySQL 线上数据库清理数据的方法的详细内容，更多关于MySQL 线上数据库清理数据的资料请关注我其它相关文章！ 。
原文链接：https://cloud.tencent.com/developer/article/1533648 。
最后此篇关于MySQL 线上数据库清理数据的方法的文章就讲到这里了,如果你想了解更多关于MySQL 线上数据库清理数据的方法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
24
4
0
我需要为元素属性动态构建 XPath 查询，其中属性值由用户提供。我不确定如何清理或清理此值以防止 XPath 等同于 SQL 注入(inject)攻击。例如(在 PHP 中): xpath("//m
问题很简单:在使用 PHPmailer 类时我应该使用任何类型的清理吗？ 我制作了使用 phpmailer 类发送电子邮件的简单发送邮件表单。目前我只使用“htmlspecialchars”进行清理(
你可以在python中创建一个在for循环退出时运行清理代码的迭代吗？就像是: from random import randint class Iterable: def __iter__(
假设我定期将数据插入 SQLite 数据库，然后清除前 50% 的数据，但我不清理。 我现在是否有类似文件前 50% 的清零页面之类的东西？如果我添加另一批数据，我是否正在填写那些清零的页面？ 手册中
我有一堆 HTML 代码，我想在其中删除所有 HTML 标记。 我认为 Regex(正则表达式)可以做到这一点。通过搜索和替换，我将如何执行此操作？ 我尝试了 ，我认为 * 是通配符，但显然不是。
我仍在学习 Haskell，我想知道是否有一种不太冗长的方法来使用 1 行代码来表达以下语句: map (\x -> (x, (if mod x 3 == 0 then "fizz" else "")
我需要怎么做才能正确清理/转义程序化SSH命令中输入的参数？ 例如，路径参数- public boolean exists(String path) { try { Chann
这个问题已经有答案了: How to clear the canvas for redrawing (25 个回答) 已关闭10 个月前。 我目前正在尝试创建一个带有雨滴落下的 Canvas ，我唯一
我目前正在使用此过程来清理/过滤用户输入的评论 -> 这个是用来去掉斜线的……和 if (get_magic_quotes_gpc()) { function stripslashe
是否可以在 portal_setup 中删除旧的导入配置文件。 目前，我的网站上有许多可追溯到 2009 年的条目:: import-all-profile-Products.Archetypes_
假设我有多个指令，包括以下内容: ...template content... ...template content... 你如何销毁指令？通常我会在 jquery 中做一些我 $('#2').re
我正在开发一个可移植java应用程序，它可以在用户的PC(Windows XP)上动态生成一些文件。现在，我想要的是在java程序退出后删除这些临时文件。显然，java的文件删除机制是不可信的。即
我有一个 argv c 程序，它反转单词，并查看它是否是回文。我只是想清理输出并让它打印原始输入而不是相反的输入，但由于它是 argv，我似乎不知道该怎么做。 int main(int argc, c
我的网页上有一篇用 markdown 写的文章，我想在索引页上显示一份简短的简历。 问题是正文有markdown，我想在简历上显示纯文本。 例如: Article text: Hello people
在下面的代码片段中，可以做些什么来a)让编译器安静，b)清理交叉的指针困惑？ extern struct tree *sintablein[sintablesize]; struct tree *(*
我试图弄清楚 WeakHashMap 在垃圾收集后如何清理。正如你们中许多人可能知道的那样，当 WeakHashMap 条目的键被垃圾回收时，它会自动删除。但是，例如，如果我做这样的事情: List>
我对构建的理解是，它只编译上次构建中编辑过的Java文件，而干净构建将删除所有类文件并重新编译所有文件。那么，当单独构建就足以满足我提供最新版本的类文件的需要时，干净构建的效用是什么？ 最佳答案 有时
是否有任何简单的(内置的、附加的、开源的或商业的)在 Postgresql(主从)上进行复制，以便在复制时清理从属内部的数据以符合 PCI 合规性？ ETL工具怎么样？它不一定是瞬时的……最多一个小时
我有一个将数据保存到 MySQL 数据库的网站 在将 HTML 插入 MySQL 或在我的网站上显示它时，我应该转义 HTML 吗？ 理想情况下，我想将原始 HTML 输入到我的数据库中，并在每次从中
我知道我已经asked一个关于 sanitizer 和转义的问题，但我有一个问题没有得到回答。 好了，到此为止。如果我有一个 PHP 脚本并且我 GET用户输入和SELECT它来自 mySQL 数据库
我是一名优秀的程序员,十分优秀！