- iOS/Objective-C 元类和类别
- objective-c - -1001 错误,当 NSURLSession 通过 httpproxy 和/etc/hosts
- java - 使用网络类获取 url 地址
- ios - 推送通知中不播放声音
我的应用程序是地理应用程序。由于要求响应时间短,我的每个实例都将所有点加载到内存并将它们存储在结构(四叉树)中。
我们每分钟加载所有点(与数据库同步)并将它们放入几个四叉树中。
我们现在有 0.5GB 积分。我正在努力准备下一个级别的 5GB 积分。虚拟机:-XX:NewSize=6g -Xms20g -Xmx20g -XX:+UseConcMarkSweepGC -verboseGC -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintGCDetails
由于 GC,实例的启动花费了很多时间,另外应用程序一直受到 GC 的影响。
我想引用大堆的 GC。
我能想到几个解决方案:
只刷新数据库中的更改,而不是每次都加载所有数据库。 缺点 - 在应用程序的早期阶段仍然会遭受 GC,Long time GC。
堆外解决方案。将点 ID 存储在四叉树中,并将点存储在堆外。 缺点 - 序列化时间,地理结构是少数对象的复杂而不是简单的对象。
为每个实例创建具有结构的附加实例并针对该实例进行查询。 geo 实例将保存长期存在的对象,并且可以对长期存在的对象进行 GC 调整。 缺点 - 复杂性和响应时间。
任何对包含很少 GIG 长生命周期对象的应用的文章的引用都将非常受欢迎。
在 Ubuntu(亚马逊)上运行。 Java 7。没有内存限制。
问题是每次刷新数据时停顿时间过长。
刷新的Gc日志:
2014-06-15T16:32:58.551+0000: 1037.469: [GC2014-06-15T16:32:58.551+0000: 1037.469: [ParNew: 5325855K->259203K(5662336K), 0.0549830 secs] 16711893K->11645244K(20342400K), 0.0551490 secs] [Times: user=0.71 sys=0.00, real=0.05 secs]
2014-06-15T16:33:02.383+0000: 1041.302: [GC2014-06-15T16:33:02.383+0000: 1041.302: [ParNew: 5292419K->470768K(5662336K), 0.0851740 secs] 16678460K->11856811K(20342400K), 0.0853260 secs] [Times: user=1.09 sys=0.00, real=0.09 secs]
2014-06-15T16:33:06.114+0000: 1045.033: [GC2014-06-15T16:33:06.114+0000: 1045.033: [ParNew: 5503984K->629120K(5662336K), 1.5475170 secs] 16890027K->12193877K(20342400K), 1.5476760 secs] [Times: user=5.49 sys=0.61, real=1.55 secs]
2014-06-15T16:33:11.145+0000: 1050.063: [GC2014-06-15T16:33:11.145+0000: 1050.063: [ParNew: 5662336K->558612K(5662336K), 0.7742870 secs] 17227093K->12758866K(20342400K), 0.7744610 secs] [Times: user=3.88 sys=0.82, real=0.77 secs]
2014-06-15T16:33:11.920+0000: 1050.838: [GC [1 CMS-initial-mark: 12200254K(14680064K)] 12761216K(20342400K), 0.1407080 secs] [Times: user=0.13 sys=0.01, real=0.14 secs]
2014-06-15T16:33:12.061+0000: 1050.979: [CMS-concurrent-mark-start]
2014-06-15T16:33:14.208+0000: 1053.127: [CMS-concurrent-mark: 2.148/2.148 secs] [Times: user=19.46 sys=0.44, real=2.15 secs]
2014-06-15T16:33:14.208+0000: 1053.127: [CMS-concurrent-preclean-start]
2014-06-15T16:33:14.232+0000: 1053.150: [CMS-concurrent-preclean: 0.023/0.023 secs] [Times: user=0.14 sys=0.01, real=0.02 secs]
2014-06-15T16:33:14.232+0000: 1053.150: [CMS-concurrent-abortable-preclean-start]
2014-06-15T16:33:15.629+0000: 1054.548: [GC2014-06-15T16:33:15.630+0000: 1054.548: [ParNew: 5591828K->563654K(5662336K), 0.1279360 secs] 17792082K->12763908K(20342400K), 0.1280840 secs] [Times: user=1.65 sys=0.00, real=0.13 secs]
2014-06-15T16:33:19.143+0000: 1058.062: [GC2014-06-15T16:33:19.143+0000: 1058.062: [ParNew: 5596870K->596692K(5662336K), 0.3445070 secs] 17797124K->13077191K(20342400K), 0.3446730 secs] [Times: user=3.06 sys=0.34, real=0.35 secs]
CMS: abort preclean due to time 2014-06-15T16:33:19.832+0000: 1058.750: [CMS-concurrent-abortable-preclean: 5.124/5.600 secs] [Times: user=35.91 sys=1.67, real=5.60 secs]
最佳答案
人们对上面的设计要点提出了一些非常好的评论,您绝对应该考虑。如果您只考虑 GC 影响,您的问题就有点难以回答,因为垃圾收集调整不是一门精确的科学。您可能希望考虑的是您正在使用的实际 GC 算法。但首先介绍一下背景:
垃圾收集是分代的,它的性能依赖于 high infant mortality对象的速率 - 即对象在应用程序流程中被创建并迅速销毁。您持有大对象(由于缓存性质),这意味着您将填满伊甸园,并且需要 GC 将这些对象提升到幸存者和永久空间。
这意味着如果您需要回收此内存,它很可能处于永久使用状态,因此需要更长的 GC 暂停时间来收集。但是,考虑到堆的大小,这可能不是问题,因为它可能永远不需要执行完整的 GC。健康的应用程序预计会在很短的时间内频繁 GC 以收集 Eden,因此不要因垃圾收集器的启动而分心。但是,请对 Full GC 感到担忧。如果您还没有打开垃圾收集器日志,现在是时候打开了,因为这将允许您进行衡量,而不是做出假设(如果您已经打开的话)。
-XX:+PrintGCDetails
-XX:+PrintGCDateStamps
-XX:+PrintTenuringDistribution
另见 this answer了解更多详情。
从 Java 7 update 4 开始,您可以使用 G1 垃圾收集器。该算法专门设计用于处理多核机器上的大型堆。当你启动你的应用程序时,你会使用类似这样的命令:
java -Xmx50m -Xms50m -XX:+UseG1GC -XX:MaxGCPauseMillis=200
这允许您指定您的堆大小和您希望实现的目标性能。 G1 的工作方式与默认使用的标记清除算法略有不同,因为它在不同区域查看整个堆,并尝试声明其中大部分是垃圾的区域。完全可回收的堆段回收成本低,因此它会找到尽可能多的区域尽可能收集这些并在您想要的暂停时间内收集它们。它尽可能多地并行利用您的多核来避免在停止世界期间浪费时间。
当然不能保证 G1 将成为解决您问题的 Elixir ,但根据您的特点,您可能会发现它非常适合您(因为缓存中不需要的东西可以更容易地删除并且由于本地的原则,可能位于很近的地方)。 G1上有一些新手资料here .也看看这个 article这比我在这里更深入。
关于java - 如何在应用程序中持续保持 5GB 内存,而不会因 GC 而导致性能不佳?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24077635/
#include typedef std::vector vc; typedef std::vector vvc; vvc f() { const int N = (1 不把它还给操作系统。 因
我正在尝试训练 Dlib's train_shape_predictor_ex.cpp与 Halen数据集。我在 Release模式 中使用 Visual Studio 将代码编译为 64 位平台 作
当我试图解决this 时想到了这个问题。问题。 我有一个容量为 120 GB 的硬盘,其中 100 GB 被一个巨大的文件占用。所以 20 GB 仍然是免费的。 我的问题是,我们如何将这个巨大的文件拆
这个问题在这里已经有了答案: 关闭 10 年前。 Possible Duplicate: Can you allocate a very large single chunk of memory (
我有一台运行 Linux (3.19.5-200.fc21.x86_64) 的 128 GB RAM 的计算机。但是,我不能在单个进程中分配超过 ~30 GB 的 RAM。除此之外,malloc 失败
我需要为 808704000 个 float 分配内存,大约是 3085 MB。我的电脑有 32 GB 内存,运行 64 位 Linux (CentOS 6.6)。每次我尝试分配内存时,malloc
很抱歉这个愚蠢的问题,但是当reading about 32 bits limitation ,我发现由于 Memory-Mapped 方法,MongoDB 不能存储超过 2 GB,但是: 2^32
假设我们有一个 32 位地址,那么每一位可以是 1 或 0。 所以组合总数等于2^32。 所以我们可以表示 2^32 个地址(没有单位)。 但为什么人们说 32 位地址可以表示 2^32 字节地址(为
好吧,这个问题确实是一个挑战! 背景 我正在从事一个涉及比正常数字更大的基于算术的项目。我是新手,我打算使用 4 GB 文件大小的最坏情况(我什至希望将其扩展到 5GB 上限,因为我之前看到文件大小大
我在文件系统上有大约 12 个大小为 1 GB 到 10 GB 的存储库,我需要为所有这些存储库设置自动备份(我们的旧备份脚本在计算机出现故障时丢失了) XP 64 位机器。 看完this quest
我尝试调整 Linux VM 上的操作系统磁盘大小,该 VM 通常由 azure 自动创建。我无法创建自定义操作系统磁盘 - 请告知我该怎么做? enter image description her
我在 .NET 中遇到了一个问题,我的数组受到我拥有的 RAM 数量的限制,并且我需要可以容纳至少 40 GB 字节的数组。我正在考虑使用硬盘驱动器作为虚拟数组的想法不在乎它是否慢。 我正在研究这个想
我尝试调整 Linux VM 上的操作系统磁盘大小,该 VM 通常由 azure 自动创建。我无法创建自定义操作系统磁盘 - 请告知我该怎么做? enter image description her
我的目标是看看当使用比物理 GPU 内存所能容纳的更多纹理数据时会发生什么。我的第一次尝试是加载多达 40 个 DDS 纹理,导致内存占用比 GPU 内存高得多。但是,我的场景在 9500 GT 上仍
Windows 上的 JDK 最多需要 2 GB 左右的 RAM。即使我们为 JDK 分配更多 RAM;它不接受它。如果我需要在 Windows 上运行需要 8 GB RAM 的进程;我怎样才能实现它
我有一个程序需要分配2个15亿长度的整数数组。这是一个编码挑战( https://projecteuler.net/problem=282 ),并且没有办法使用如此大的数组(如果有,请不要告诉我;我应
假设我有一个 32 位内核。 4 Gb RAM,10 Gb 交换分区。 我有一个在无限循环中有 malloc 的进程。因此,最终系统的 OOM 将终止该进程。这里有两个论点。 参数 1:因为它是 32
我有一个可以大于 4GB 的文件。我正在使用 linux split 命令按行拆分它(这是要求)。但是拆分原始文件后,我希望拆分文件的大小始终小于 2GB。原始文件大小可能在 3-5 GB 之间。我想
我有一台带有 32GB RAM 的 Mac 服务器(雪豹)。当我尝试在 Perl (v 5.10.0) 中分配超过 1.1GB 的 RAM 时,出现内存不足错误。这是我使用的脚本: #!/usr/bi
我们正在尝试运行.NET 4 Web应用程序(在8 GB,8核心Windows 2008 R2 64位Webedition服务器上),该应用程序使用Spire.doc创建Word mailmerge文
我是一名优秀的程序员,十分优秀!