- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
Clickhouse 表 MergeTree Engine 不断填充“INSERT INTO ... FORMAT CSV”查询,从空开始。平均输入速率为每秒 7000 行。插入发生在几千行的批处理中。当并发执行 SELECT 查询时,这会对性能产生严重影响。如Clickhouse文档所述,系统最多需要10分钟来合并特定表的数据(重新索引)。但这并没有发生,因为表格不断被填充。
这在文件系统中也很明显。表格文件夹有数千个子文件夹,索引过度分段。如果数据摄取停止,几分钟后表格将完全合并,子文件夹的数量会变成十几个。
为了解决上述弱点,缓冲引擎用于缓冲表数据摄取 10 分钟。因此,缓冲区最大行数平均为 4200000。
初始表最多滞后 10 分钟,因为缓冲区保留了最近摄取的行。表格最终被合并,其行为与表格停止填充几分钟的情况相同。但是,对应于缓冲区和初始表组合的缓冲区表变得越来越慢。
从上面可以看出,如果表是连续填充的,它就不会合并,索引也会受到影响。有没有办法避免这个弱点?
最佳答案
表数据目录下的子文件夹个数不是那么有代表性的数值。
的确,每个子文件夹都包含一个由排序(索引)行组成的数据部分。如果多个数据部分合并为一个新的更大的部分,则会出现新的子文件夹。
但是,合并后不会立即删除源数据部分。有一个 <merge_tree>
设置 old_parts_lifetime
定义部件将被移除的延迟,默认情况下它设置为 8 分钟。此外,还有 cleanup_delay_period
设置定义后台清洁器检查和删除过时部分的频率,默认为 30 秒。
因此,在摄取开始后大约 8 分 30 秒内有如此数量的子文件夹是正常的。如果您无法接受,您可以更改这些设置。
仅检查表中事件部分的数量是有意义的(即尚未合并成更大部分的部分)。为此,您可以运行以下查询:SELECT count() FROM system.parts WHERE database='db' AND table='table' AND active
.
此外,如果分区中事件部件的数量大于 parts_to_delay_insert=150
,ClickHouse 会在内部进行此类检查。 ,它会减慢插入速度,但如果它大于 parts_to_throw_insert=300
它将中止插入。
关于buffer - 当 Clickhouse 表连续填充 INSERT INTO 时,SELECT 查询性能影响,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48171764/
我正在开发一些用于计费的数据库项目(PHP/MySQL)。 每当创建新账单时,我想生成一个由年、周和增量编号组成的账单编号。我想用触发器来做到这一点。触发器将使用现有的账单编号来查找增量编号,或者从新
我有一个 MySQL 插入,我正在使用 RAND 生成随机 INT 值问题是它不会插入到数据库中,因为该列接受 TINYINT ,如何将输出转换为 TINYINT。代码示例如下: INSERT INT
如果我想从单个插入中保存主键 (mytable_id),我已完成以下操作: CREATE OR REPLACE FUNCTION myfunct(ownerid text) RETURNS void
为了简单起见,假设我有两个表 用户表(id,email) 用户日志表(id, date) 无论 id 被插入到 user 表中,相同的 id 也应该被插入到 user_log 表中,否则事务应该失败。
为了简单起见,假设我有两个表 用户表(id,email) 用户日志表(id, date) 无论 id 被插入到 user 表中,相同的 id 也应该被插入到 user_log 表中,否则事务应该失败。
我知道在触发器中 - 至少对于 SQL Server - 人们永远不应该假设插入的表只有一行,这意味着触发器中这样的 SQL 通常是不好的: select @UserID = ID from inse
我正在使用 bigquery 对象中的方法 tabledata().insertAll 更新行列表。执行后,返回显示没有错误。但是,我的表仍然继续,没有写入任何数据。 可能是权限问题。如果是这样,为什
这是一个扩展 F# Recursive Tree Validation 的问题,我昨天已经很好地回答了。 这个问题涉及在现有树中插入一个 child 。这是我想使用的更新类型: type Name
我有 2 个表:用户和照片(在 mysql 数据库中)。 在这里你可以看到两个表之间的关系 User Photos -------------
我试图同时在不同的表上插入两行。 子查询INSERT INTO的AUTO_INCRMENT或id的值(如果已经存在)应该写入主查询中。 目前我有这个(仅用 3 个值简化),但它不起作用。我想知道是否有
我有一个 900 万行的表,由于其庞大的规模,我正在努力处理所有这些数据。 我想做的是在不覆盖数据的情况下将 IMPORT 一个 CSV 添加到表中。 在我做这样的事情之前; INSERT if no
我正在写新闻并将其插入到我的数据库中,我在 3 年前构建了代码并且运行良好,但我不能再插入了,我不明白为什么: $insert=mysqli_query($co,"INSERT INTO articl
我正在尝试编写一个简单的 INSERT 语句来将新用户添加到数据库中,但它不起作用,这意味着,我尝试插入到表中的数据都没有被插入。几个小时以来,我一直在尝试解决此问题,但没有成功。我尝试编写插入语句的
所以我有这个表格: http://i.imgur.com/vZYssQy.png 现在 ID、First Name、Last Name、DOB、Address、Phone Number 和 Post
在控制台中运行查询(SELECT 语句)时,从数据库检索到的数据以表格格式显示在数据库控制台工具窗口的结果 Pane 中。 我已经搜索过 datagrip Help我只是想知道是否有任何方法可以用于为
每当使用触发器插入行时,我都试图将另一行插入表中,但收到以下错误消息: The target table 'EDDSDBO.Redaction' of the DML statement cannot
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 这个问题似乎与 help center 中定义的范围内的编程无关。 . 关闭 6 年前。 Improve
我有以下代码片段: $get_data = mysqli_query ($connect, "SELECT * FROM users WHERE username = '$username'");
情况:需要向 SQLite 数据库中插入大量数据。 问题:我们可以使用两个语句来插入数据 - data = [("111", "222", "333"), ("AAA", "BBB", "CCC"),
我的数据库中有一个表 Teacher: TABLE Teacher ( ID CHAR (7) NOT NULL , name
我是一名优秀的程序员,十分优秀!