- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
我尝试编写一个小应用程序来熟悉用户空间中写时复制的概念。我已通读 answer by MSalters并认为只有从 mmap
开始才会起作用'ed 文件来存储我的数据。由于我不需要基于文件的持久性,我尝试对共享内存做同样的事情。首先我mmap
'ed 并初始化了一个 shm fd,然后我用 MAP_PRIVATE
映射了第二个拷贝并再次阅读。然而,仅仅读取它会导致内核复制整个内容,花费更多的时间并消耗两倍的内存。为什么它不做 COW?
这是我想出的用于说明行为的程序:
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/mman.h>
#include <fcntl.h>
#include <assert.h>
static const size_t ARRAYSIZE = 1UL<<30;
void init(int* A)
{
for (size_t i = 0; i < ARRAYSIZE; ++i)
A[i] = i;
}
size_t agg(const int* A)
{
size_t sum = 0;
for (size_t i = 0; i < ARRAYSIZE; ++i)
sum += A[i];
return sum;
}
int main()
{
assert(sizeof(int) == 4);
shm_unlink("/cowtest");
printf("ARRAYSIZE: %lu\n", ARRAYSIZE);
int fd = shm_open("/cowtest", O_RDWR | O_CREAT | O_TRUNC, 0);
if (fd == -1)
{
perror("Error allocating fd\n");
return 1;
}
if (ftruncate(fd, sizeof(int) * ARRAYSIZE) == -1)
{
perror("Error ftruncate\n");
return 1;
}
/* Open shm */
int* A= (int*)mmap(NULL, sizeof(int) * ARRAYSIZE, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
if (A == (int*)-1)
{
perror("Error mapping A to memory\n");
return 1;
}
init(A);
/* Create cow copy */
int* Acopy = (int*)mmap(NULL, sizeof(int) * ARRAYSIZE, PROT_READ, MAP_PRIVATE, fd, 0);
if (Acopy == (int*)-1)
{
printf("Error mapping copy from file\n");
return 1;
}
/* Aggregate over A */
size_t sumA = agg(A);
size_t expected = (ARRAYSIZE * (ARRAYSIZE - 1)) >> 1;
assert(expected == sumA);
/* Aggregate over Acopy */
size_t sumCopy = agg(Acopy);
assert(expected == sumCopy);
shm_unlink("/cowtest");
printf("Enter to exit\n");
getchar();
return 0;
}
我用 g++ -O3 -mtune=native -march=native -o shm-min shm-min.cpp -lrt
编译它.
它创建的数组包含 4GB 的整数值。然而,在终止程序之前分配 8GB 共享内存,并在 /proc/<pid>/smaps
您可以看到它实际上在只读操作期间进行了完整复制。我不知道为什么会这样。这是内核错误吗?还是我错过了什么?
非常感谢您提供任何见解。拉尔斯
编辑这里是/proc/<pid>/smaps
的相关内容在 Ubuntu 14.04 (3.13.0-24) 上:
7f3b9b4ae000-7f3c9b4ae000 r--p 00000000 00:14 168154 /run/shm/cowtest (deleted)
Size: 4194304 kB
Rss: 4194304 kB
Pss: 2097152 kB
Shared_Clean: 0 kB
Shared_Dirty: 4194304 kB
Private_Clean: 0 kB
Private_Dirty: 0 kB
Referenced: 4194304 kB
Anonymous: 0 kB
AnonHugePages: 0 kB
Swap: 0 kB
KernelPageSize: 4 kB
MMUPageSize: 4 kB
Locked: 0 kB
VmFlags: rd mr mw me sd
7f3c9b4ae000-7f3d9b4ae000 rw-s 00000000 00:14 168154 /run/shm/cowtest (deleted)
Size: 4194304 kB
Rss: 4194304 kB
Pss: 2097152 kB
Shared_Clean: 0 kB
Shared_Dirty: 4194304 kB
Private_Clean: 0 kB
Private_Dirty: 0 kB
Referenced: 4194304 kB
Anonymous: 0 kB
AnonHugePages: 0 kB
Swap: 0 kB
KernelPageSize: 4 kB
MMUPageSize: 4 kB
Locked: 0 kB
VmFlags: rd wr sh mr mw me ms sd
最佳答案
没有复制。 smaps 文件有一个提示:
Size: 4194304 kB
Rss: 4194304 kB
Pss: 2097152 kB
看到 Pss 是映射区域实际大小的一半吗?那是因为它除以两个用法(Pss = 比例共享大小)。也就是说,您将同一个文件两次映射到不同范围的虚拟内存,但两次映射的底层物理页面是相同的。
要找出相关页面的物理地址,您可以使用 a tool here .另存为page-types.c
, 运行 make page-types
然后 ./page-types -p <pid> -l -N
.您将看到不同的虚拟地址(在第一列中)映射到相同的物理页面(在第二列中)。
如果您添加 PROT_WRITE
第二个映射的权限位,并调用 init(Acopy)
,你会看到Pss跳转到了4GB,对应的page的物理地址也不再一样了。
TL;DR COW 有效。
关于c++ - 如何让写时复制在 Linux 上的共享内存上工作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24409261/
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是偏离主题的,
Linux 管道可以缓冲多少数据?这是可配置的吗? 如果管道的两端在同一个进程中,但线程不同,这会有什么不同吗? 请注意:这个“同一个进程,两个线程”的问题是理论上的边栏,真正的问题是关于缓冲的。 最
我找到了here [最后一页] 一种有趣的通过 Linux 启动 Linux 的方法。不幸的是,它只是被提及,我在网上找不到任何有用的链接。那么有人听说过一种避免引导加载程序而使用 Linux 的方法
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visit the help center . 关闭 1
我试图了解 ld-linux.so 如何在 Linux 上解析对版本化符号的引用。我有以下文件: 测试.c: void f(); int main() { f(); } a.c 和 b.c:
与 RetroPie 的工作原理类似,我可以使用 Linux 应用程序作为我的桌面环境吗?我实际上并不需要像实际桌面和安装应用程序这样的东西。我只需要一种干净简单的方法来在 RaspberryPi 上
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 这个问题似乎不是关于 a specific programming problem, a softwar
关闭。这个问题是off-topic .它目前不接受答案。 想改进这个问题吗? Update the question所以它是on-topic用于堆栈溢出。 关闭 10 年前。 Improve thi
有什么方法可以覆盖现有的源代码,我应该用 PyQt、PyGTK、Java 等从头开始构建吗? 最佳答案 如果您指的是软件本身而不是它所连接的存储库,那么自定义应用程序的方法就是 fork 项目。据我所
我的情况是:我在一个磁盘上安装了两个 linux。我将第一个安装在/dev/sda1 中,然后在/dev/sda2 中安装第二个然后我运行第一个系统,我写了一个脚本来在第一个系统运行时更新它。
我在 i2c-0 总线上使用地址为 0x3f 的系统监视器设备。该设备在设备树中配置有 pmbus 驱动程序。 问题是,加载 linux 内核时,这个“Sysmon”设备没有供电。因此,当我在总线 0
关闭。这个问题是off-topic .它目前不接受答案。 想改进这个问题吗? Update the question所以它是on-topic用于堆栈溢出。 关闭 11 年前。 Improve thi
我正试图在 linux 模块中分配一大块内存,而 kalloc 做不到。 我知道唯一的方法是使用 alloc_bootmem(unsigned long size) 但我只能从 linux 内核而不是
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 这个问题似乎不是关于 a specific programming problem, a softwar
我有 .sh 文件来运行应用程序。在该文件中,我想动态设置服务器名称,而不是每次都配置。 我尝试了以下方法,它在 CentOS 中运行良好。 nohup /voip/java/jdk1.8.0_71/
我是在 Linux 上开发嵌入式 C++ 程序的新手。我有我的 Debian 操作系统,我在其中开发和编译了我的 C++ 项目(一个简单的控制台进程)。 我想将我的应用程序放到另一个 Debian 操
关闭。这个问题需要多问focused 。目前不接受答案。 想要改进此问题吗?更新问题,使其仅关注一个问题 editing this post . 已关闭 4 年前。 Improve this ques
我使用4.19.78版本的稳定内核,我想找到带有企鹅二进制数据的C数组。系统启动时显示。我需要在哪里搜索该内容? 我在 include/linux/linux_logo.h 文件中只找到了一些 Log
我知道可以使用 gdb 的服务器模式远程调试代码,我知道可以调试针对另一种架构交叉编译的代码,但是是否可以更进一步,从远程调试 Linux 应用程序OS X 使用 gdbserver? 最佳答案 当然
是否有任何可能的方法来运行在另一个 Linux 上编译的二进制文件?我知道当然最简单的是在另一台机器上重建它,但假设我们唯一能得到的是一个二进制文件,那么这可能与否? (我知道这可能并不容易,但我只是
我是一名优秀的程序员,十分优秀!