- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我的两个问题是:
详细来说,我有一个数据库,其中包含几个包含公司数据的非常大(100 到 10 亿行之间)的表。通常在这样的表中有大约 20-40 家公司的数据,每家公司都是自己的“ block ”,由“CompanyIdentifier”(INT) 标记。此外,每家公司都有大约 20 个部门,每个部门都有自己的“子 block ”,由“部门标识符”(INT) 标记。
经常会在表中添加或删除整个“ block ”或“子 block ”。我的第一个想法是在这些 block 上使用表分区,但由于我使用的是 SQL Server 2008 标准版,所以我无权使用它。不过,我的大多数查询都是在“ block ”或“子 block ”上执行的,而不是在整个表上执行的。
我一直致力于为以下功能优化这些表:
对于 1) 和 2) 我没有遇到太多问题。我在关键字段上创建了几个索引(在有用的地方还包含 CompanyIdentifier 和 DepartmentIdentifier)并且查询运行良好。
但是对于 3) 我一直在努力寻找一个好的解决方案。我的第一个策略是始终禁用索引,批量插入一个大块并重建索引。刚开始是很快的,但是现在数据库里的公司很多,每次重建索引都需要很长时间。
目前我的策略已更改为在插入时只保留索引,因为现在这似乎更快。但我想进一步优化插入速度。
我似乎已经注意到,通过添加在 CompanyIdentifier + DepartmentIdentifier 上定义的聚集索引,可以更快地将新“ block ”加载到表中。在我放弃这种策略以支持在 IDENTITY 列上添加聚簇索引之前,正如几篇文章向我指出的那样,聚簇索引包含在所有其他索引中,因此聚簇索引应尽可能小。但现在我正在考虑恢复这个旧策略来加速插入。我的问题是,这是明智的,还是我会在其他方面遭受性能损失?这真的会加快我的插入速度还是只是我的想象?
我也不确定在我的情况下是否真的需要 IDENTITY 列。我希望能够与其他表建立外键关系,但我是否也可以为此使用 CompanyIdentifier+DepartmentIdentifier+[uniquifier] 方案?或者它是否必须是全表的、碎片化的 IDENTITY 编号?
非常感谢任何建议或解释。
最佳答案
好吧,我已经对其进行了测试,在两个“ block 定义”列上放置聚集索引提高了我的表的性能。
与我有聚簇 IDENTITY 键的情况相比,现在插入 block 的速度相对较快,而且与没有任何聚簇索引时的速度差不多。删除 block 比使用或不使用聚簇索引更快。
我认为我想删除或插入的所有记录都保证都在硬盘的某个部分上,这使得表速度更快 - 这对我来说似乎是合乎逻辑的。
更新:经过一年的这种设计经验,我可以说要使这种方法起作用,有必要安排定期重建所有索引(我们每周进行一次)。否则,索引很快就会碎片化,性能会下降。尽管如此,我们正在迁移到具有分区表的新数据库设计,这基本上在各个方面都更好——除了企业服务器许可成本,但我们现在已经忘记了它。至少我有。
关于sql-server - 非标识列上的聚簇索引可加速批量插入?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3733735/
这是我在阅读了几个关于 jpa 批量插入的主题后创建的简单示例,我有 2 个持久对象用户和站点。一个用户可以有多个站点,所以我们在这里有一对多的关系。假设我想创建用户并将多个站点创建/链接到用户帐户。
我有文档列表(对象),该对象有多个文档,即存在 Json 记录,但是当我尝试上传文档束(记录)时,它没有上传到文档数据库,但当我上传单个文档记录时,它上传成功。 List listObj = ne
我希望进行批量域名查找,看看是否有一些域名可供购买。我找不到 perl 模块,但似乎应该有一种方法可以在 perl 中执行此操作。我正在寻找免费的东西。谢谢! 最佳答案 从这里:http://www.
我制作了一个批处理类来检查 FTP 上的文件、下载它们并在 FTP 上删除它们。 当我手动运行它(不是批量运行)时,它运行完美,下载 FTP 中的所有文件并在下载完成后删除它们。 当我尝试批量运行时,
我有一个 *+* 形式的字符串 base。我想得到+之前的所有内容。例如,如果 base=foo+bar,我想获取 foo。 我尝试过使用字符串替换来实现 set left=%base:+*=% 但这
我需要创建几十个表,并且我需要它们是innodb, 有没有办法做到这一点,而不是将 engine=innodb 附加到每个 create table 语句? 最佳答案 可以在服务器级别指定默认引擎,在
我正在尝试制作显示 unix/linux 提示符的 dos shell。代码是: @echo off :hi set tmpdrv=%cd:~0,2% if %homedrive% == %tmpdr
我有以下代码,基本上是在二维矩阵的每一行上进行一维卷积。卷积核是一样的。所以真的是 SIMD 案例。 a = [ 1,2,3,4,5; 6,7,8,9,7; 7,6
情况: 我尝试在 shell 中的循环内移动文件,但我的代码无法正常工作。 for /D %%F in (*) do ( if "%%F" NEQ "%directoryToPutFilesIn
目录包含 2 个(或更多)任意名称的视频文件。 video1.mkv video2.mkv 需要找出每个视频的持续时间。为此,我们使用 MediaInfo . setlocal EnableDelay
如何在 Windows 中批量删除数千个文件中的空格(而不是替换为下划线)?我可以从 DOS 命令执行此操作吗? 目前: file one.mp3 file two.mp3 所有文件需要变成: fil
我想创建一个批处理文件,它读取 2 个不同的值,并根据它们的比较方式进行相应处理。但是,比较永远不会起作用。代码是: REM string1 and string2 contain the follo
我正在尝试将一个文件夹的子文件夹复制到许多其他名称未知的文件夹中。目的是在所有使用它的员工文件夹中备份程序的源文件。如果在员工文件夹中找不到程序文件夹,则不应执行任何操作。这看起来如下: 来源: F:
我正在寻找一种简单的方法来检测一小段文本(几句话)是否为英语。在我看来,这个问题比尝试检测任意语言要容易得多。有没有可以做到这一点的软件?我正在用 python 编写,并且更喜欢 python 库,但
我们正在尝试向 8k 种不同的设备发送促销推送消息。我们正在成功响应推送通知 URL https://fcm.googleapis.com/fcm/send 但只有部分用户收到此通知,并非全部。那么
基本上我只是用这一段来替换我的 var 中的一个字符串,但我无法让嵌套延迟扩展正常工作。这甚至可能吗? set replace=!replace:!search!=!replaceVal!! 我知道执
如何使用 ffmpeg 对一批视频文件进行编码,使用相同的设置? 我找到了 one-line solution将当前文件夹中的 .avi 文件转换为 .mov。请注意,我要编码 .mov -> .mo
我正在尝试制作一个批处理文件,每次循环时都会将变量增加 1,然后检查变量是否等于 5,如果不是,则再次循环。我知道这可能有一个 while 循环,但我不知道如何做到这一点,我现在只是享受学习 Batc
我正在尝试创建一个循环,读取多个 CSV 文件,这些文件都具有相同类型的气温数据。但是,我想跳过数据上方的行。这些是数据集中的“警报”。每个文件可能有不同数量的警报,因此要跳过不同数量的行。见下文:
因此,我正在批量创建一个Mail程序,而消息传递部分出现了问题。 消息传递部分是无限循环。 当我输入多个单词时,它会崩溃。 这是代码。请帮忙! :rep set line= set /p line=
我是一名优秀的程序员,十分优秀!