erlang - Riak 数据库在短时间内出现故障

Question

我创建了一个简单的 erlang 应用程序，它定期收集所需的数据并将其放入 riak 数据库中。

当我启动我的应用程序时，它运行顺利。但是一段时间后它卡住了，因为对 riak 数据库的 PUT 请求变得太慢了。这是来 self 的应用程序的日志:

2013-06-26 12:44:09.090 [info] <0.60.0> data processed in [16476 ms]
2013-06-26 12:45:51.472 [info] <0.60.0> data processed in [18793 ms]
...
2013-06-26 12:57:28.138 [info] <0.60.0> data processed in [15135 ms]
2013-06-26 13:07:01.484 [info] <0.60.0> data processed in [488420 ms]
2013-06-26 14:03:11.561 [info] <0.60.0> data processed in [3370075 ms]

在 riak 崩溃日志中，我可以看到很多消息，例如

2013-06-26 17:06:20 =CRASH REPORT====
crasher:
initial call: riak_kv_index_hashtree:init/1
pid: <0.13660.7>
registered_name: []
exception exit: {{{badmatch,{error,{db_open,"IO error: ./data/anti_entropy/
    433883298582611803841718934712646521460354973696/MANIFEST-000004: 
    Cannot allocate memory"}}}, [{hashtree,new_segment_store,2,
    [{file,"src/hashtree.erl"},{line,499}]},
    {hashtree,new,2,[{file,"src/hashtree.erl"},{line,215}]},
    {riak_kv_index_hashtree,do_new_tree,2,
    [{file,"src/riak_kv_index_hashtree.erl"},
    {line,426}]},{lists,foldl,3,[{file,"lists.erl"},
    {line,1197}]},{riak_kv_index_hashtree,
    init_trees,2,[{file,"src/riak_kv_index_hashtree.erl"},
    {line,368}]},{riak_kv_index_hashtree,init,1,
    [{file,"src/riak_kv_index_hashtree.erl"},
    {line,225}]},{gen_server,init_it,6,[{file,"gen_server.erl"},{line,304}]},
    {proc_lib,init_p_do_apply,3,[{file,"proc_lib.erl"},{line,227}]}]},
    [{gen_server,init_it,6,[{file,"gen_server.erl"},{line,328}]},
    {proc_lib,init_p_do_apply,3,[{file,"proc_lib.erl"},{line,227}]}]}
ancestors: [<0.955.0>,riak_core_vnode_sup,riak_core_sup,<0.129.0>]
messages: []
links: []
dictionary: []
trap_exit: false
status: running
heap_size: 1597
stack_size: 24
reductions: 593
neighbours:

我可以在 Amazon AWS 和本地虚拟机上看到相同的行为。我的虚拟机非常小，只有 512-1024 mb。AWS 是微型的，所以它具有相同数量的内存。

目前没有集群。仅在单个节点上运行 Riak 和我的应用程序。

我检查了 riak 文档，他们建议做的基本事情是增加 ulimit 和更新 sysctl。因此，我的服务器 ulimit 显示:ulimit -n 65536 AND sysctl 按照建议更新。

我试过 bitcask 和 eleveldb，但结果是一样的。

目前，我无法弄清楚是什么坏了以及为什么 riak 无法分配内存。谢谢。

Answer 1

1GB 内存对于一个 Riak 节点来说是相当小的，而且如果您还在那里运行您的应用程序，则更是如此。 Riak 中的默认设置针对具有更多 RAM 和处理能力的环境，因此您需要调整默认设置 settings为了让它工作。以下是一些可能会有所帮助的提示:

1. 因为您只有一个节点，请通过设置禁用 AAE{anti_entropy, {off, []}}。
2. 减小戒指尺寸。这将限制您扩展的能力，但很可能是为了使其正常工作所必需的。合适的起始值可能是 16，但甚至可能低至 8。
3. 更改默认存储桶属性，使您拥有 n_val、r、w、dw 和 rw 全部设置为 1，否则您会将每条记录的多个副本写入磁盘。当您横向扩展并添加更多节点时，这些将需要增加。
4. 由于 bitcask 要求将所有 key 保存在内存中，因此使用 leveldb 可能是个好主意作为后端。但是，您很可能需要显着减小写入缓冲区和高速缓存的大小。您可能需要进行试验才能找到合适的水平。
5. 由于此环境很可能太小而无法运行 mapreduce，您还可以将 ma​​p_js_vm_count 和 reduce_js_vm_count 配置参数设置为 0 以节省一些额外的内存。