- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
我正在开发一个网络应用程序,需要处理突发的非常高的负载,每分钟一次,我在几秒钟内收到大量请求(~1M-3M/秒),然后在剩下的一分钟内我什么也得不到,
在每个前端服务器上处理尽可能多的请求/秒的最佳策略是什么,只是发送回复并将请求以某种方式存储在内存中,以便稍后在后台由 DB writer worker 处理?
目的是在burst期间尽量少做,burst后尽快将请求写到DB。
编辑:交易顺序并不重要,我们可能会丢失一些交易,但需要记录 99%收到所有请求到数据库的延迟可能是在收到最后一个请求后的几秒钟。假设不超过 15 秒
最佳答案
这个问题有点含糊。但我会尝试一下。
1) 您需要限制。一个简单的实现将打开数百万个到数据库的连接,这显然会表现不佳。至少,每个连接都会占用数据库上 MB 的 RAM。即使使用连接池,每个“线程”也可能占用大量 RAM 来记录它的(传入)状态。
如果您的应用服务器的处理线程数量有限,您可以使用 HAProxy 来“拿起电话”并在队列中缓冲请求几秒钟,直到您的应用服务器上有空闲线程来处理请求。
事实上,您可以只使用像 nginx 这样的 Web 服务器来接收请求并说“200 OK”。然后,一个简单的应用程序读取网络日志并插入到数据库中。这将很好地扩展,尽管您可能希望一个线程读取日志并多个线程插入。
2) 如果您的语言有协程,您自己处理缓冲可能会更好。您应该衡量依赖我们的语言运行时进行调度的开销。
例如,如果每个 HTTP 请求都是 1K 的 header + 数据,想要解析它并丢弃除您实际需要的一两个数据(即 DB ID)之外的所有内容。如果您依赖语言协程作为“隐式”队列,则在解析每个协程时,它将为每个协程提供 1K 缓冲区。在某些情况下,拥有有限数量的工作人员并明确管理队列会更有效率/更快。当您有上百万件事情要做时,小开销会迅速累积起来,并且语言运行时不会始终针对您的应用程序进行优化。
此外,与 Node.js 相比,Go 可以更好地控制内存。 (结构比对象小得多。结构键的“开销”对于 Go 来说是编译时的事情,但对于 Node.js 来说是运行时的事情)
3) 你怎么知道它在工作? 你希望能够确切地知道你在做什么。当您依赖语言协同例程时,要问“我有多少个执行线程,最旧的是哪个?”并不容易。如果你做一个明确的队列,这些问题就更容易问了。 (想象一下几个 worker 把东西放进队列,然后几个 worker 把东西拉出来。边缘有一点不确定性,但中间的队列非常明确地捕获了你的积压。你可以很容易地计算出诸如“drain”之类的东西速率”和“最大内存使用量”,这对于了解您的重载程度非常重要。)
我的建议:使用 Go。从长远来看,Go 将是一个好得多的选择。 Go 运行时现在有点不成熟,但每个版本都在变得更好。 Node.js 可能在几个方面(成熟度、社区规模、库等)略微领先
关于mysql - 在 go 或 nodejs 中处理大量请求/秒,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20801537/
我的 React 项目需要更新 nodejs。那么我如何将我的 Node js 重新安装到 Ubuntu 16.04 中的最新版本。 我当前的 Node 版本是 node -v v6.0.0 我当前的
我正在寻找逐步调试 NodeJS 服务器代码的有效方法。目前我使用了几十个console.log(),这非常困难。完美的工具可以让我检查堆栈中每个变量的值并逐行跟踪我的程序。首选操作系统 = MacO
我的网站上有以下两个文件: firebase.js gridsome-server.js firebase.js 是一个“常规”javascript 文件,包含以下内容: import firebas
我有一个nodejs应用程序从文件夹A执行,二进制X也在文件夹A中执行(使用子进程exec)。二进制 X 在文件夹 A 中生成输出文件 O,因此始终从调用位置开始。 我需要nodejs应用程序来在仲裁
我有以下nodeJS服务器,它似乎工作正常。我想编写一个客户端,从服务器接收消息并根据消息调用一些 JS。 涉及的步骤是: 用户访问网址http://server.xyz.com:8080/pa no
我想从 Node 服务器进行其余 api 调用。我目前脑子里有请求模块。 您是否会建议用于 Nodejs 中生产实践的 REST 调用(get/post)的任何其他最佳模块? 问候,公羊 最佳答案 R
我正在尝试像这样使用 mainModule: const { mainModule } = require('process'); module.exports = path.dirname(main
我现在对那些版本号真的很困惑。我正在计划一个新项目,想知道这两个版本之间有什么区别。这两个版本之间似乎有很大的跳跃,但现在我找不到区别。 使用 4.1 版安全吗? 感谢您的帮助! 最佳答案 跳转到 v
我试图找到我的问题的解决方案,但找不到,并且正在寻找一些“最佳实践示例”。我有一个 nodejs express 应用程序,我的函数在文件中拆分。例如我有这个 Controller (oktacont
这看起来像是一个非常简单的问题,但作为一个 JS 初学者,我想知道是否可以在 webextension 中使用 NodeJS 模块(例如我想使用这个:https://github.com/yaronn
我有一个文件。a.js class A{ constructor(name){ this.name = name; } displayName(){ conso
我想做的是这样的: node x.js | node y.js 文件 x.js 只是打印一个字符串: console.log("hi"); 文件 y.js 旨在通过 process.stdin 获取字
对于这个新的nodejs debugger I am working on我想对显示的源代码行进行着色。有什么关于 npm 使用的建议吗? 有很多语法荧光笔,但使这种情况有点不同的是 输出是到终端;它
有没有什么方法可以从 ejs View 中引用包含在 node_modules 文件夹中的 Nodejs 库? 我正在使用 expressjs 并且我的客户端库由 /public 文件夹提供,如下所示
我是 NodeJS 的新手,我正在尝试根据 NodeJS 站点上的指南在 NodeJS 中创建一个服务器。我已经在我的电脑上安装了 NodeJS 并使用以下代码制作了 app.js 文件。 const
我有一个 nodejs-express 服务器 (1) 与 mongodb 通信,还有一个 web 服务器 (2) 在 nodejs-express 和 Angularjs 中。我正在尝试发出 pos
我一直在解决(firebase 和 nodejs)问题,这是该问题的第四部分,如何在登录到 server.js 后传递数据 我已经尝试过this但未能使其正常工作。 基本上,我正在尝试将用户idTok
每次页面刷新时,NodeJS 都会在套接字上多次写入数据。当我刷新页面时,nodejs 服务器写入套接字的计数增加,在多个页面刷新时,写入计数固定为 3。 请检查控制台输出是否有此奇怪的响应。请提出同
我在尝试更新文件夹并再次部署其内容时遇到问题。我必须使用 NodeJS 并已获得端口 8080 来使用。我尝试创建一个 php 脚本(update.php): 现在我想启动NodeJS脚本进行更新,
我不明白java多线程系统和Nodejs多线程系统在性能和资源共享方面的区别。由于 NodeJS 为您的程序使用事件循环单线程,但在幕后,它将任务分配给不同的线程,如文件读取或数据库查询。所以它使用多
我是一名优秀的程序员,十分优秀!