clickhouse - Clickhouse 中的多个小插件

Question

我在 clickhouse 中有一个事件表(MergeTree)，并且想同时运行很多小插入。然而，服务器变得过载且无响应。此外，一些插入物丢失了。 clickhouse错误日志中有很多记录:

01:43:01.668 [ 16 ] <Error> events (Merger): Part 201 61109_20161109_240760_266738_51 intersects previous part

有没有办法优化此类查询？我知道我可以对某些类型的事件使用批量插入。基本上，运行一个包含许多记录的插入，clickhouse 处理得很好。但是，某些事件(例如单击或打开)无法以这种方式处理。

另一个问题:为什么 clickhouse 决定存在类似的记录，而实际上不存在？插入时有类似的记录，与索引中的字段相同，但其他字段不同。

我有时也会收到以下错误:

Caused by: ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, message: Connect to localhost:8123 [ip6-localhost/0:0:0:0:0:0:0:1] timed out, host: localhost, port: 8123; Connect to ip6-localhost:8123 [ip6-localhost/0:0:0:0:0:0:0:1] timed out
    ... 36 more

主要是在项目构建期间运行针对 clickhouse 数据库的测试。

Answer 1

这是在处理大量小插入到(非复制)MergeTree 中时的已知问题。
这是一个错误，我们需要调查和修复。
对于解决方法，您应该按照建议以更大的批次发送插入:大约每秒一批:https://clickhouse.tech/docs/en/introduction/performance/#performance-when-inserting-data .