Cassandra::请求期间出现意外异常； channel = [id: 0x7acf3f0c, L:/100.55.10.124:9042 ! R:/30.75.50.2:39263]

Question

我正在使用 Cassandra 3.10 和 6 个节点集群，复制因子为 2。[请考虑 IP 已被屏蔽而不是原始的]。

Datacenter: DC1
===========================================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address       Load       Tokens       Owns (effective)  Host ID                               Rack
UN  100.55.10.124  212.33 MiB  256          65.9%             8328123a-678c-4027-a136-06b3626ab017  rack1
UN  100.55.10.125  216.92 MiB  256          67.1%             af76123c-6880-43d6-bff8-b139731242bd  rack1
UN  100.55.10.126  216.94 MiB  256          67.0%             f541cdc1-aa2f-4a30-3612-5d4291421ec3  rack1
Datacenter: DC2
===========================================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address       Load       Tokens       Owns (effective)  Host ID                               Rack
UN  100.55.10.130  198.15 MiB  256          60.7%             332eb914-bf14-4d0d-9c38-47fc4b0952f1  rack2
UN  100.55.10.131  229.48 MiB  256          70.8%             cafc702f-83d4-479a-b117-ada75274e0ba  rack2
UN  100.55.10.132  223.14 MiB  256          68.5%             8a9c03ae-ed5a-4cb9-9540-0ca97a04640e  rack2

集群工作正常，但这些天我在系统日志中看到下面的“信息”

INFO  [Native-Transport-Requests-3] 2017-04-19 03:21:19,684 Message.java:617 - Unexpected exception during request; channel = [id: 0x7acf3f0c, L:/100.55.10.124:9042 ! R:/30.75.50.2:39263]
io.netty.channel.unix.Errors$NativeIoException: syscall:read(...)() failed: Connection reset by peer
        at io.netty.channel.unix.FileDescriptor.readAddress(...)(Unknown Source) ~[netty-all-4.0.39.Final.jar:4.0.39.Final]

我试图分析这个问题，但还没有做到。

我看过以下 JIRA issues围绕这一点，但找不到任何有用的东西。
我还提到了几个 stackoverflow 链接找不到任何结论。

Unexpected exception during request

Cassandra Timeouts with No CPU Usage

Strange exception in /var/log/cassandra/system.log

我正在使用 CQL v3.4.4。有没有人熟悉上述场景？

Answer 1

由于此请求显示“Native-Transport-Requests”，在这种情况下将请求检查“nodetool tpstasts”命令的输出。
如果您在这种情况下看到“Native-Transport-Requests”的高阻塞计数，您计划增加 max_queued_native_transport_requests。
CQL 本地协议(protocol)是 Cassandra 驱动程序与服务器通信的方式。这包括所有读取、写入、架构更改等。可用于处理传入请求的线程数量有限。
当所有线程都在使用时，一些请求在队列中等待(待处理)。如果队列已满，某些请求将被静默拒绝(阻塞)并且服务器从不回复。
https://support.datastax.com/hc/en-us/articles/360031470531-High-blocked-NTR-count-during-increased-workload-on-Cassandra-node