- mongodb - 在 MongoDB mapreduce 中,如何展平值对象?
- javascript - 对象传播与 Object.assign
- html - 输入类型 ="submit"Vs 按钮标签它们可以互换吗?
- sql - 使用 MongoDB 而不是 MS SQL Server 的优缺点
在工作中,我们的目标平台之一是运行 Linux(内核 2.6.13,基于旧 Fedora Core 的自定义发行版)的资源受限的微型服务器。该应用程序是用 Java (Sun JDK 1.6_04) 编写的。 Linux OOM killer 配置为在内存使用量超过 160MB 时终止进程。即使在高负载期间,我们的应用程序也永远不会超过 120MB,并且与其他一些 Activity 的 native 进程一起,我们保持在 OOM 限制内。
然而,事实证明 Java Runtime.getRuntime().exec() 方法,从 Java 执行外部进程的规范方法,具有 particularly unfortunate implementation on Linux这导致生成的子进程(暂时)需要与父进程相同的内存量,因为地址空间被复制。最终结果是,一旦我们执行 Runtime.getRuntime().exec(),我们的应用程序就会被 OOM killer 杀死。
我们目前通过让一个单独的 native 程序执行所有外部命令来解决此问题,并通过套接字与该程序进行通信。这不是最佳的。
在 posting about this problem online 之后我收到一些反馈,表明这不应该发生在“较新”版本的 Linux 上,因为它们使用写时复制实现了 posix fork() 方法,大概意味着它只会在需要时复制需要修改的页面。立即占用整个地址空间。
我的问题是:
最佳答案
这几乎就是 *nix(和 linux)从时间之初(或至少在 mmus 之初)开始工作的方式。
要在 *nixes 上创建一个新进程,请调用 fork()。 fork() 创建调用进程及其所有内存映射、文件描述符等的副本。内存映射是在写入时复制的,因此(在最佳情况下)实际上没有复制内存,只有映射。随后的 exec() 调用将当前内存映射替换为新可执行文件的映射。因此,fork()/exec() 是您创建新进程的方式,这也是 JVM 使用的方式。
需要注意的是,在繁忙的系统上有大量进程,在子 exec() 导致大量内存被复制之前,父进程可能会继续运行一段时间,因为写入时复制。在 VM 中,内存可以移动很多,以促进垃圾收集器产生更多的复制。
“解决方法”是做你已经做过的事情,创建一个外部轻量级进程来处理生成新进程 - 或者使用比 fork/exec 更轻量级的方法来生成进程(哪个 linux 没有 -并且无论如何都需要更改jvm本身)。 Posix 指定了 posix_spawn() 函数,理论上可以在不复制调用进程的内存映射的情况下实现——但在 linux 上则不然。
关于java - 从哪个 Linux 内核/libc 版本开始,Java Runtime.exec() 就内存而言是安全的?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/209875/
无法使用 Hive 版本 1.1.0 HBase 版本 0.94.8 和 hadoop 版本 2.7.0 从 hive 创建 Hbase 表 hive (default)> CREATE TABLE
我试图为 electron app 创建可执行文件但面临这个问题 Unable to determine Electron version. Please specify an Electron ve
我正在尝试让自适应阈值在 python 绑定(bind)到 opencv 中工作(swig 一个 - 无法让 opencv 2.0 工作,因为我正在使用 beagleboard 因为交叉编译还没有工作
我一直在 linux 机器上使用 JMeter,在命令行下使用了一段时间。工作正常。 今天,我在 Windows 机器(新客户端等)上尝试了它,它确实可以工作,但在控制台窗口中输出有很大不同。 Lin
在我的编码环境中,我通常使用最新版本的 Java 和 Eclipse。当我编写源代码时,我不会注意我使用的 API 方法或类是否向后兼容旧版本的 Java 或 Eclipse。在 javadoc 中存
问题是关于版本的特定组合,但更普遍。 我刚刚从 Kubuntu 12.04 升级到 14.04。现在,当我想编译 CUDA 代码(使用 CUDA 6.5)时,我得到: #error -- unsupp
我目前正在对我的一些应用程序进行沙箱处理,看来我必须删除一些功能才能满足 Mac App Store 沙箱(和其他)规则。 显然用户不会因为失去功能而感到高兴,我担心他们不会指责苹果制定了愚蠢的规则,
我用 flash 和 js 版本创建了一个动画横幅。 是否可以检测低于版本 9 的 ie 版本,然后提供 Flash 横幅,否则提供 js 横幅。 最佳答案 您可以使用条件注释来检测 IE 版本
我有一个处理不同位置的数据库的应用程序,我想检查这些数据库是否使用 Firebird 2.5 或更高版本打开。我们最近从 Firebird 2.0 迁移到了 2.5,我们有很多数据库可以响应 sele
我正在开发一个应用程序,我使用托管在我的服务器上的 Java 和 Jersey 构建了后端部分。我在服务器上使用 Tomcat7 来调用 Web 服务。 我以前有一台安装了 Ubuntu 的计算机,我
我可以使用 GetVersionEx() 函数来获取 Windows 版本,但是这个函数将返回一个数字而不是一个字符串。但是没有问题,因为我可以将数字转换为字符串,例如: if (osvi.dwMaj
我已经在我的系统中安装了 Anaconda 2 & 3。 Anaconda 2 包含 python 2.7 & Anaconda 3 包含 python 3.6。 我需要使用命令提示符运行我的 pyt
我正在尝试构建一个 Android 项目,但发生了以下错误 Error:(10, 1) A problem occurred evaluating project ':app'. > Failed t
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭 4 年前。 Improve this qu
在降级我的 GCC 之前,我想知道是否有办法确定我的机器中的哪些程序/框架或依赖项会中断,以及是否有更好的方法来执行 openpose 安装? (例如,在 CMake 中更改某些内容) 有没有办法在不
我已经在终端的代码sudo apt-get install Shadowsocks-qt5中安装了Shadowsocks-Qt5,然后我可以通过搜索找到启动图标,但是它当我点击图标时打不开。然后我尝试
在网络上找到的文档说,MLLP V2(第 2 版)是用于传输 HL7 版本 3 内容的所有消息传输协议(protocol)的要求。似乎 MLLP 第 2 版主要用于 HL7 第 3 版。 我们可以/应
我正在使用带有 selinium webdriver 的 Protractor 。我的chromeDriver版本是78.0.1,chrome版本是78.0.3904.97。两个版本都匹配,应该不会有
我正在按照教程设置 mysql 数据库并做一些事情。我无法找到数据库资源管理器。我读了很多,但在 Window->show View-> Dataxxx 或右侧上部选项卡中无法正常工作。 最佳答案 从
我已经在 KDE 桌面上安装了 Anaconda 2.0.1。当我运行 python 并看到所有已安装的模块时,我收到此消息“无法将不兼容的 Qt 库(版本 0x40801)与该库(版本 0x4080
我是一名优秀的程序员,十分优秀!