node.js - 部署到 Digital Ocean 的 Meteor 应用程序卡在 100% CPU 和 OOM

Question

我有一个使用 Meteor Up to Digital Ocean 部署的 Meteor (0.8.0) 应用程序，该应用程序一直卡在 100% 的 CPU 上，只是因为内存不足而崩溃，然后以 100% 的 CPU 重新启动。在过去的 24 小时里，它一直处于这样的状态。奇怪的是没有人使用服务器，meteor.log 没有显示太多线索。我有用于数据库的带有 oplog 的 MongoHQ。

digital ocean 规范:

1GB Ram 30GB SSD 磁盘纽约 2 Ubuntu 12.04.3 x64

显示问题的屏幕截图:

请注意，屏幕截图是昨天捕获的，它一直固定在 100% cpu，直到它因内存不足而崩溃。日志显示:

FATAL ERROR: Evacuation Allocation failed - process out of memoryerror: Forever detected script was killed by signal: SIGABRT error:Forever restarting script for 5 time

热门展示:

26308 meteor 20 0 1573m 644m 4200 R 98.1 64.7 32:45.36 Node

它是如何开始的:我有一个应用程序，它通过 csv 或 mailchimp oauth 接收电子邮件列表，通过批处理调用 http://www.fullcontact.com/developer/docs/batch/ 将它们发送给 fullcontact然后根据响应状态相应地更新 Meteor 集合。来自 200 响应的片段

if (result.statusCode === 200) {
            var data = JSON.parse(result.content);
            var rate_limit = result.headers['x-rate-limit-limit'];
            var rate_limit_remaining = result.headers['x-rate-limit-remaining'];
            var rate_limit_reset = result.headers['x-rate-limit-reset'];
            console.log(rate_limit);
            console.log(rate_limit_remaining);
            console.log(rate_limit_reset);
            _.each(data.responses, function(resp, key) {
                var email = key.split('=')[1];
                if (resp.status === 200) {
                    var sel = {
                        email: email,
                        listId: listId
                    };
                    Profiles.upsert({
                        email: email,
                        listId: listId
                    }, {
                        $set: sel
                    }, function(err, result) {
                        if (!err) {
                            console.log("Upsert ", result);
                            fullContactSave(resp, email, listId, Meteor.userId());                            
                        }
                    });
                    RawCsv.update({
                        email: email,
                        listId: listId
                    }, {
                        $set: {
                            processed: true,
                            status: 200,
                            updated_at: new Date().getTime()
                        }
                    }, {
                        multi: true
                    });
                }
                });
                }

在我运行 Vagrant 的 Windows 笔记本电脑上，我一次处理数十万封电子邮件没有任何性能问题。但是在 Digital Ocean 上，它似乎甚至无法处理 15,000(我已经看到 CPU 飙升到 100%，然后因 OOM 而崩溃，但在它出现之后它通常会稳定下来......这次不是)。让我担心的是，尽管应用程序上没有/很少事件，但服务器根本没有恢复。我已经通过查看分析验证了这一点 - GA 显示 24 小时内总共有 9 个 session ，除了点击/弹跳之外，MixPanel 仅显示 1 个登录用户(我)在同一时间范围内。自从最初失败以来，我唯一做的就是检查 facts 包，它显示:

mongo-livedata observe-multiplexers 13 observe-drivers-oplog 13

oplog-watchers 16 observe-handles 15 time-spent-in-QUERYING-phase

87828 time-spent-in-FETCHING-phase 82 livedata

invalidation-crossbar-listeners 16 subscriptions 11 sessions 1

Meteor APM 也没有显示任何异常，meteor.log 没有显示除 OOM 和重启消息之外的任何 meteor 事件。 MongoHQ 没有报告任何运行缓慢的查询或大量事件 - 0 次查询、更新、插入、删除平均来自盯着他们的监控仪表板。据我所知，24 小时内没有太多事件，当然也没有任何密集的事件。从那以后，我尝试安装 newrelic 和 nodetime，但两者都无法正常工作 - newrelic 没有显示任何数据，meteor.log 有一个 nodetime 调试消息

加载 Node 时间原生扩展失败。

因此，当我尝试使用 nodetime 的 CPU 分析器时，它显示为空白，并且堆快照返回 错误:未加载 V8 工具。

在这一点上我基本上没有想法，而且由于 Node 对我来说很新，所以感觉就像我在这里在黑暗中冒险。请帮忙。

更新:服务器在四天后仍保持在 100%。即使是 init 6 也不会做任何事情 - 服务器重新启动， Node 进程启动并跳回到 100% cpu。我尝试了其他工具，例如 memwatch 和 webkit-devtools-agent，但无法让它们与 Meteor 一起使用。

以下是strace的输出

strace -c -p 6840

Process 6840 attached - interrupt to quit

^CProcess 6840 detached

% time seconds usecs/call calls errors syscall

---

77.17 0.073108 1 113701 epoll_wait

11.15 0.010559 0 80106 39908 mmap

6.66 0.006309 0 116907 read

2.09 0.001982 0 84445 futex

1.49 0.001416 0 45176 write

0.68 0.000646 0 119975 munmap

0.58 0.000549 0 227402 clock_gettime

0.10 0.000095 0 117617 rt_sigprocmask

0.04 0.000040 0 30471 epoll_ctl

0.03 0.000031 0 71428 gettimeofday

0.00 0.000000 0 36 mprotect

0.00 0.000000 0 4 brk

---

100.00 0.094735 1007268 39908 total

所以看起来 Node 进程大部分时间都花在了 epoll_wait 上。

Answer 1

我遇到了类似的问题。我不需要 Oplog，建议我添加 meteor 包“disable-oplog”。所以我做到了，CPU使用率降低了很多。如果你没有真正利用 Oplog，最好禁用它，meteor add disable-oplog 看看会发生什么。

我希望这会有所帮助。