- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
在调试器中运行可视 C# 项目时,由于 2GB 虚拟地址空间的碎片,我得到了 OutOfMemoryException,我们假设加载的 dll 可能是碎片的原因。
(有关更多信息,请参阅下面的问题发展历史)
嗨,我需要将两个大型 int 数组加载到内存中,每个元素约 1.2 亿个(约 470MB),并且都在一个 Visual C# 项目中。
当我尝试实例化第二个数组时,我得到了 OutOfMemoryException。
我确实有足够的总可用内存,在进行网络搜索后,我认为我的问题是我的系统上没有足够大的连续可用内存块。但! - 当我在一个 Visual C# 实例中仅实例化一个数组,然后打开另一个 Visual C# 实例时,第二个实例可以实例化一个 470MB 的数组。(编辑澄清:在上面的段落中,我的意思是在 Visual C# 的调试器中运行它)
任务管理器会按照您的预期显示相应的内存使用增加。所以整个系统上没有足够的连续内存块不是问题。然后我尝试运行一个已编译的可执行文件,该可执行文件实例化两个也可以工作的数组(内存使用量 1GB)
总结:
Visual C# 中的 OutOfMemoryException 使用两个大 int 数组,但运行编译后的 exe 工作(内存使用量 1GB),并且两个单独的 Visual C# 实例能够为我的大数组找到两个足够大的连续内存块,但我需要一个 Visual能够提供内存的 C# 实例。
首先特别感谢 nobugz 和 Brian Rasmussen,我认为他们的预测是正确的,即“进程的 2GB 虚拟地址空间的碎片化”是问题所在。
按照他们的建议,我使用 VMMap 和 listdlls 进行简短的业余分析,我得到:
* 为“独立”-exe 列出了 21 个 dll。 (可以工作并使用 1GB 内存的那个。)
* 为 vshost.exe 版本列出了 58 个 dll。 (调试时运行并抛出异常的版本仅使用500MB)
VMMap 显示调试器版本的最大可用内存块为 262,175,167,155,108MB。
所以 VMMap 说没有连续的 500MB block ,根据关于空闲 block 的信息,我添加了大约 9 个较小的 int 数组,它们加起来超过 1.2GB 的内存使用量并且确实有效。
因此,我想说我们可以称“2GB 虚拟地址空间的碎片化”是有罪的。
从 listdll 输出中,我创建了一个将十六进制数字转换为十进制的小型电子表格,以检查 dll 之间的空闲区域,我确实为 (21) dll 之间的独立版本找到了很大的可用空间,但对于 vshost-debugger-却没有。版本(58 个 dll)。我并不是说两者之间不能有任何其他东西,我不确定我在那里所做的是否有意义,但它似乎与 VMMaps 分析一致,而且似乎单独的 dll 已经将内存碎片化了调试器版本。
因此,如果我能够减少调试器使用的 dll 数量,或许一个解决方案。
1. 这可能吗?2. 如果是,我该怎么做?
最佳答案
您正在与虚拟内存地址空间碎片作斗争。 32 位版本的 Windows 上的进程有 2 GB 的可用内存。该内存由代码和数据共享。代码块是 CLR 和 JIT 编译器以及 ngen-ed 框架程序集。数据 block 是 .NET 使用的各种堆,包括加载程序堆(静态变量)和垃圾收集堆。这些 block 位于内存映射中的不同地址。空闲内存可供您分配数组。
问题是,一个大数组需要一 block 连续的内存。地址空间中的“空洞”,位于代码块和数据 block 之间,不足以让您分配如此大的数组。第一个孔通常在 450 到 550 兆字节之间,这就是您的第一个阵列分配成功的原因。下一个可用的孔要小得多。太小而无法容纳另一个大数组,即使您有一个简单的千兆字节可用内存,您也会得到 OOM。
您可以使用 SysInternals' VMMap 查看进程的虚拟内存布局。效用。好的诊断,但它不会解决你的问题。只有一个真正的修复,移动到 64 位版本的 Windows。也许更好:重新考虑您的算法,使其不需要如此大的数组。
关于c# - Microsoft Visual C# 2008 减少加载的 dll 的数量,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2347935/
我是 Bison 解析的新手,我无法理解它是如何工作的。我有以下语法,其中我保留了最低限度的语法来突出问题。 %left '~' %left '+' %token T_VARIABLE %% star
我链接了 2 个映射器和 1 个缩减器。是否可以将中间输出(链中每个映射器的 o/p)写入 HDFS?我尝试为每个设置 OutputPath,但它似乎不起作用。现在,我不确定是否可以完成。有什么建议吗
我正在编写一些代码来管理自定义磁盘文件结构并将其同步到未连接的系统。我的要求之一是能够在实际生成同步内容之前估计同步的大小。作为一个简单的解决方案,我整理了一个包含完整路径文件名的 map ,作为高效
我来自一个 SQL 世界,其中查找由多个对象属性(published = TRUE 或 user_id = X)完成,并且有 任何地方都没有加入 (因为 1:1 缓存层)。文档数据库似乎很适合我的数据
在 R 中,我有一个整数向量。从这个向量中,我想随机减少每个整数元素的值,以获得向量的总和,即初始总和的百分比。 在这个例子中,我想将向量“x”减少到向量“y”,其中每个元素都被随机减少以获得等于初始
我发现自己遇到过几次我有一个 reducer /组合 fn 的情况,如下所示: def combiner(a: String, b: String): Either[String, String]
Ubuntu 12.04 nginx 1.2.4 avconv版本 avconv version 0.8.10-4:0.8.10-0ubuntu0.12.04.1, Copyright (c) 200
我是 R 编程语言的新手。我有一个包含 2 列(ID 和 Num)的数据集,如下所示: ID Num 3 8 3 12 4 15 4 18 4
我正在使用高阶函数将函数应用于向量中的每个元素并将结果作为标量值返回。 假设我有: v = c(0, 1, 2, 3, 4, 5, 6, 7, 8) 我想计算以左边 5 个整数为中心的所有这些整数的总
关闭。这个问题需要debugging details .它目前不接受答案。 编辑问题以包含 desired behavior, a specific problem or error, and th
这个问题在这里已经有了答案: How to write the dataframes in a list to a single csv file (2 个回答) 5年前关闭。 我正在尝试使用 Red
刚开始学习CUDA编程,对归约有些迷茫。 我知道与共享内存相比,全局内存有很多访问延迟,但我可以使用全局内存来(至少)模拟类似于共享内存的行为吗? 例如,我想对长度恰好为 BLOCK_SIZE * T
我经常使用OptiPNG或pngcrush减小PNG图像的文件大小。 我希望能够从.NET应用程序中以编程方式执行此类操作。我正在动态生成要发送到移动设备的PNG,因此我想减小文件大小。 图像质量很重
减少和减少让您在序列上累积状态。 序列中的每个元素都会修改累积的状态,直到 到达序列的末尾。 在无限列表上调用reduce 或reductions 有什么含义? (def c (cycle [0]))
这与R: use the newly generated data in the previous row有关 我意识到我面临的实际问题比我在上面的线程中给出的示例要复杂一些 - 似乎我必须将 3 个
有什么办法可以减少.ttf字体的大小?即如果我们要删除一些我们不使用的glyps。 最佳答案 使用Google Web Fonts,您可以限制字符集,例如: //fonts.googleapis.co
我需要在iOS中制作一个应用程序,在她的工作过程中发出类似“哔”的声音。 我已经使用MPMusicPlayerController实现了与背景ipod的交互。 问题: 由于来自ipod的音乐音量很大,
我有一个嵌套 map m,如下所示: m = Map("电子邮件"-> "a@b.com", "背景"-> Map("语言"-> "英语")) 我有一个数组arr = Array("backgroun
有什么原因为什么不应该转发map / reduce函数中收到的可写内容? 我的意思是-每个map / reduce函数都有一个可写的键/值,并可能发出一个键/值对。如果我想执行一些过滤,我应该只发出接
假设我有一个数据列表 val data = listOf("F 1", "D 2", "U 1", "D 3", "F 10") 我想执行每个元素的给定逻辑。 我必须在外部添加 var acc2 =
我是一名优秀的程序员,十分优秀!