java - 当我们尝试检索大数据时 Cassandra 服务器崩溃

Question

如何使用 cassandra DB 检索大数据。我正在使用 Cassandra 1.1.7。配备 32 GB RAM 和 1 TB 硬盘。成功地，我可以将记录插入其中。当我试图检索数据时

例如:

select * from table name (or) select count(*) from tablename;

Cassandra 服务器可能崩溃或关闭(表包含 30 万行 10 列)。

显示错误:

Adjust the flush_largest_memtables_at_threshold size in yaml or clear cache size

JVM 堆转储错误在 cassandra/bin 文件夹中创建了 pid-XXX.hprof 文件。

在 cassandra-env.sh 中，我设置:

MAX_HEAP_SIZE="27G" HEAP_NEWSIZE="2G"

在 cassandra.yaml 中我设置了:

memtable_total_space_in_mb: 100

我们每天在每个表中插入 100k 以上的数据，因此 cassandra 数据大小可能每天增加 1G。那么我是否需要随之增加我的 RAM 大小？

Answer 1

这里有两件事:

1) 您的 MAX_HEAP_SIZE 太大了。 DataStax's documentation on Java heap tuning提供了一个表格来帮助您根据系统 RAM 确定正确的设置。对于 32GB 的 RAM，您将属于“大于 4GB”类别。那么推荐值为:

1/4 system memory, but not more than 8GB

原因再往下...

In most cases, the capability of Java to gracefully handle garbage collection above 8GB quickly diminishes.

对于 MAX_HEAP_SZIE，认真考虑将其降低到 8GB 或更少。对于 HEAP_NEWSIZE，建议将其设置为每个内核 100MB。如果注释掉，HEAP_NEWSIZE 将是您的 MAX_HEAP_SIZE 的 1/4。

更好的是，在 cassandra-env.sh 中注释掉 两个 MAX_HEAP_SIZE 和 HEAP_NEWSIZE 的设置.这样，Cassandra 将确定这些值需要什么。考虑到您当前的设置有多么离谱，让 Cassandra 为您确定这些设置是更好的选择。

2) 您的 memtable_total_space_in_mb 也完全不正常。我也会注释掉这个设置。 Cassandra默认会把这个设置成堆空间的1/3，也就是说这个设置和之前同样不正确的设置直接相关。

通过注释掉这些设置并允许 Cassandra 管理它们，您的值应该如下所示:

MAX_HEAP_SIZE: 8192M
HEAP_NEWSIZE: (num cores) x 100M, or (1/4 of MAX)...2048M
memtable_total_space_in_mb: 2731

为了帮助解决所有这些问题，我根据 cassandra-env.sh 中的代码创建了一个 bash 脚本:

#!/bin/bash
clear
echo "This is how Cassandra will determine its default Heap and GC Generation sizes."

system_memory_in_mb=`free -m | awk '/Mem:/ {print $2}'`
half_system_memory_in_mb=`expr $system_memory_in_mb / 2`
quarter_system_memory_in_mb=`expr $half_system_memory_in_mb / 2`

echo "   memory = $system_memory_in_mb"
echo "     half = $half_system_memory_in_mb"
echo "  quarter = $quarter_system_memory_in_mb"

echo "cpu cores = "`egrep -c 'processor([[:space:]]+):.*' /proc/cpuinfo`

#cassandra-env logic duped here
#this should help you to see how much memory is being allocated
#to the JVM
    if [ "$half_system_memory_in_mb" -gt "1024" ]
    then
        half_system_memory_in_mb="1024"
    fi
    if [ "$quarter_system_memory_in_mb" -gt "8192" ]
    then
        quarter_system_memory_in_mb="8192"
    fi
    if [ "$half_system_memory_in_mb" -gt "$quarter_system_memory_in_mb" ]
    then
        max_heap_size_in_mb="$half_system_memory_in_mb"
    else
        max_heap_size_in_mb="$quarter_system_memory_in_mb"
    fi
    MAX_HEAP_SIZE="${max_heap_size_in_mb}M"

    # Young gen: min(max_sensible_per_modern_cpu_core * num_cores, 1/4 * heap size)
    max_sensible_yg_per_core_in_mb="100"
#doesn't work?
#    max_sensible_yg_in_mb=`expr (max_sensible_yg_per_core_in_mb "*" $system_cpu_cores)`
    max_sensible_yg_in_mb="400"

    desired_yg_in_mb=`expr $max_heap_size_in_mb / 4`
    if [ "$desired_yg_in_mb" -gt "$max_sensible_yg_in_mb" ]
    then
        HEAP_NEWSIZE="${max_sensible_yg_in_mb}M"
    else
        HEAP_NEWSIZE="${desired_yg_in_mb}M"
    fi

echo "Max heap size = " $MAX_HEAP_SIZE
echo " New gen size = " $HEAP_NEWSIZE

将其放入脚本文件 (machineInfo.sh) 并在我的开发服务器上运行它会产生以下输出:

$ ./machineInfo

This is how Cassandra will determine its default Heap and GC
Generation sizes.    
memory = 3948
half = 1974   
quarter = 987
cpu cores = 4
Max heap size =  1024M
New gen size =  256M

总而言之，您的错误消息似乎指向一个设置 (memtable_total_space_in_mb)，该设置大约是应有值的 1/25。该设置(通常)基于 JVM 堆的大小，该大小比应有的大 3.5 倍。我也同意 Cassandra 2.0.8 比 1.1.7 有了实质性改进，值得您花时间升级。

话虽这么说，请尝试更改我提到的设置，然后重新启动您的集群。与运行升级相比，这是一项风险较低的更快任务。