- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
我目前正在处理的一些程序消耗的内存比我认为的要多得多。所以我想了解 glibc malloc 修剪是如何工作的。我写了以下测试:
#include <malloc.h>
#include <unistd.h>
#define NUM_CHUNKS 1000000
#define CHUNCK_SIZE 100
int main()
{
// disable fast bins
mallopt(M_MXFAST, 0);
void** array = (void**)malloc(sizeof(void*) * NUM_CHUNKS);
// allocating memory
for(unsigned int i = 0; i < NUM_CHUNKS; i++)
{
array[i] = malloc(CHUNCK_SIZE);
}
// releasing memory ALMOST all memory
for(unsigned int i = 0; i < NUM_CHUNKS - 1 ; i++)
{
free(array[i]);
}
// when enabled memory consumption reduces
//int ret = malloc_trim(0);
//printf("ret=%d\n", ret);
malloc_stats();
sleep(100000);
}
测试输出(不调用 malloc_trim):
Arena 0:
system bytes = 112054272
in use bytes = 112
Total (incl. mmap):
system bytes = 120057856
in use bytes = 8003696
max mmap regions = 1
max mmap bytes = 8003584
尽管几乎所有内存都已释放,但此测试代码消耗的常驻内存比预期的要多得多:
[root@node0-b3]# ps aux | grep test
root 14662 1.8 0.4 129736 **118024** pts/10 S 20:19 0:00 ./test
过程图:
0245e000-08f3b000 rw-p 00000000 00:00 0 [heap]
Size: 109428 kB
Rss: 109376 kB
Pss: 109376 kB
Shared_Clean: 0 kB
Shared_Dirty: 0 kB
Private_Clean: 0 kB
Private_Dirty: 109376 kB
Referenced: 109376 kB
Anonymous: 109376 kB
AnonHugePages: 0 kB
Swap: 0 kB
KernelPageSize: 4 kB
MMUPageSize: 4 kB
Locked: 0 kB
VmFlags: rd wr mr mw me ac
7f1c60720000-7f1c60ec2000 rw-p 00000000 00:00 0
Size: 7816 kB
Rss: 7816 kB
Pss: 7816 kB
Shared_Clean: 0 kB
Shared_Dirty: 0 kB
Private_Clean: 0 kB
Private_Dirty: 7816 kB
Referenced: 7816 kB
Anonymous: 7816 kB
AnonHugePages: 0 kB
Swap: 0 kB
KernelPageSize: 4 kB
MMUPageSize: 4 kB
Locked: 0 kB
当我启用对 malloc_trim 的调用时,测试的输出几乎保持不变:
ret=1
Arena 0:
system bytes = 112001024
in use bytes = 112
Total (incl. mmap):
system bytes = 120004608
in use bytes = 8003696
max mmap regions = 1
max mmap bytes = 8003584
然而,RSS 明显下降:
[root@node0-b3]# ps aux | grep test
root 15733 0.6 0.0 129688 **8804** pts/10 S 20:20 0:00 ./test
处理 smap(在 malloc_trim 之后):
01698000-08168000 rw-p 00000000 00:00 0 [heap]
Size: 109376 kB
Rss: 8 kB
Pss: 8 kB
Shared_Clean: 0 kB
Shared_Dirty: 0 kB
Private_Clean: 0 kB
Private_Dirty: 8 kB
Referenced: 8 kB
Anonymous: 8 kB
AnonHugePages: 0 kB
Swap: 0 kB
KernelPageSize: 4 kB
MMUPageSize: 4 kB
Locked: 0 kB
VmFlags: rd wr mr mw me ac
7f508122a000-7f50819cc000 rw-p 00000000 00:00 0
Size: 7816 kB
Rss: 7816 kB
Pss: 7816 kB
Shared_Clean: 0 kB
Shared_Dirty: 0 kB
Private_Clean: 0 kB
Private_Dirty: 7816 kB
Referenced: 7816 kB
Anonymous: 7816 kB
AnonHugePages: 0 kB
Swap: 0 kB
KernelPageSize: 4 kB
MMUPageSize: 4 kB
Locked: 0 kB
调用 malloc_trim 后,堆变小了。我假设 8MB mmap 段仍然可用,因为最后一 block 内存没有被释放。
为什么 malloc 不自动执行堆修剪?有没有办法配置 malloc 以便自动完成修剪(当它可以节省那么多内存时)?
我使用的是 glibc 2.17 版。
最佳答案
主要是出于历史原因,小分配的内存来自由 brk
管理的池系统调用。这是一个非常古老的系统调用——至少与Version 6 Unix一样古老— 它唯一能做的就是改变内存中位置固定的“竞技场”的大小。这意味着,brk
池不能缩小超过仍分配的 block 。
你的程序分配了 N 个内存块,然后释放了其中的 N-1 个。它不会释放的一个 block 是位于最高 地址的 block 。这是 brk
的最坏情况:即使 99.99% 的池未使用,大小也根本无法减少!如果您更改您的程序,使其未释放的 block 是 array[0]
而不是 array[NUM_CHUNKS-1]
,您应该同时看到 RSS 和地址空间在最后一次调用 free
时收缩。
当您显式调用 malloc_trim
时,它会尝试使用 Linux 扩展来解决此限制,madvise(MADV_DONTNEED)
,它会释放物理 RAM,但不会释放地址空间(正如您观察到的那样)。我不知道为什么这只会在显式调用 malloc_trim
时发生。
顺便说一句,8MB 的 mmap 段用于您初始分配 array
。
关于linux - 了解 glibc malloc 修剪,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38644578/
我是 C 的新手,在 Linux 中使用带有开关 gcc -g -std=c89 -Wall ... 的 gcc4.4.6 进行编程,我在许多函数深处遇到了这个错误我的程序名为 compute: **
今天阅读Rust subreddit时,我发现以下评论: jemalloc针对(多线程)速度而不是内存使用进行了优化 经过更多研究后,我发现还有更多选择(例如calloc)。 我想了解不同内存分配器的
相关代码: write(-1, "test", sizeof("test")); void * p = malloc(1024); void * p2 = malloc(510); w
我正在比较不同的 malloc 实现,我想比较它们的运行时间和内存使用情况。 特别是,我对运行时和最大常驻内存感兴趣。重要的是最大常驻内存将是真实的(没有代码段等)。 我不能使用像 valgrind
我承认这三个都有不同的含义。但是,我不明白这些具体情况适用于哪些特定情况。任何人都可以分享每个例子吗?谢谢。 malloc(sizeof(int)) malloc(size
GLib 文档推荐使用 GLib Slice Allocator 而不是 malloc: "For newly written code it is recommended to use the ne
我正在分配一个字符串 int main(){ int buf = 1024; char *input = malloc(sizeof(char*) * buf); //CODE
Here有一个关于 malloc 包的环境变量列表: MallocStackLogging MallocStackLoggingNoCompact MallocPreScribble MallocSc
总体问题:当您将通过malloc分配的返回值分配给一个指针时,您是否需要malloc该指针以及,还是您可以简单地声明并分配它? 例如,假设我有一个函数 foo,它在执行过程中使用 malloc 创建了
这个问题在这里已经有了答案: String assignment in C (4 个答案) 关闭 7 年前。 这是有问题的片段。 int main() { char** RESERV = (
任务是将一个二进制文件解析到内存中。但是,我事先不知道需要分配的内存量。 哪种方法更可取:在解析例程中进行多个小 malloc,或者首先遍历文件以确定所需的内存量,然后再次解析? 感谢任何提示。 最佳
我最近一直在尝试理解严格别名的一个特定方面,我认为我已经制作了尽可能最小的有趣代码。 (对我来说很有趣,就是这样!) 更新:根据到目前为止的答案,很明显我需要澄清这个问题。从某个角度来看,这里的第一个
我一直在为我创建的一个简单程序创建测试。我总是使用类似这样的方法检查使用 malloc 分配内存是否失败 int* ptr = malloc(sizeof(int) * x); if(!ptr){
我是 malloc 和对齐 malloc 的新手。我知道如何使用它们。但是,我不知道在什么情况下我们应该使用对齐的 malloc 而不是标准的 malloc。你能给我解释一下吗? 最佳答案 glibc
这样分配内存是不好的做法吗?: FOO *foo; while (!(foo = malloc(sizeof(FOO)))) ; 最佳答案 我不知道有什么不好的做法,但这种情况并不常见。 malloc
有人可以向我解释使用和不使用 malloc 创建结构之间的区别吗?什么时候应该使用 malloc,什么时候应该使用常规初始化? 例如: struct person { char* name;
假设我有一个类型 node_t typedef struct node{ char* value; struct node *next; }node_t; 当我想创建一个名为 n1 的
关闭。这个问题需要更多 focused .它目前不接受答案。 想改进这个问题?更新问题,使其仅关注一个问题 editing this post . 3年前关闭。 Improve this questi
我对指针感到困惑。这是交换两个名称的代码。请看代码。考虑输入:hellohai(对于 d)和 asd(对于 e)。我得到的输出:asd 1ellohai 1ellohai #include #incl
我已经编写了这个函数(如下)。它应该逐行读取文件。编辑该行并将某些单词/字符放入各种功能中。然后将这些函数放入“entrant”结构的数组(malloc)中。 问题是,当我退出循环并尝试打印数组时,放
我是一名优秀的程序员,十分优秀!