- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在使用 mmap 来读取文件。现在,当文件大小约为 880 MB 时,迭代文件大约需要 0.5 秒。
现在我通过复制文件内容将文件大小增加了 10 倍。现在再次使用 mmap 大约需要 1 分钟。
我认为迭代时间应该随着文件大小线性增加。
这是简单的测试代码
FILE *fp = fopen64("filename", "rm");
if (fp == NULL)
{
perror(NULL);
}
struct stat st;
fstat(fileno(fp), &st);
off_t fileSize = st.st_size;
char *data = (char *)mmap64(NULL, fileSize, PROT_READ,MAP_PRIVATE,fileno(fp), 0);
off_t ptr =0;
char c =(char)0;
while(ptr < fileSize) { c += data[ptr++] ;}
std::cout << c << "\n";
这是结果。
文件大小为 880MB
real 0m0.501s
user 0m0.447s
sys 0m0.053s
文件大小为 8.8 GB
real 0m57.685s
user 0m10.773s
sys 0m3.690s
最佳答案
访问时间不是恒定的,数据集越大,访问时间就越慢。我建议阅读Latency Numbers Every Programmer Should Know .
如果您运行基准测试并调整数据集大小,您将看到性能变化的几个范围。
当数据集适合 L1 缓存时,性能最快。 L1 缓存很小,例如每个核心 64 KiB,但速度很快(约 1 个周期的访问时间,几乎与寄存器一样快)。
当您需要二级缓存时,性能会突然下降。 L2 缓存比 L1 缓存更大且速度更慢。性能下降了大约 10 倍左右。
当数据集对于二级缓存来说太大但又适合 RAM 时,性能会再次下降。由于缓存未命中,性能又下降了 10 倍左右。
当数据集对于 RAM 来说太大但又适合磁盘时,性能会急剧下降。假设您有一个快速 SSD,则缓存未命中的性能损失约为 1000 倍,如果您有非 SSD 硬盘驱动器,性能损失可能为 100,000 倍。
您的 880 MB 数据集完全适合 8 GiB RAM,但 8,800 MB 数据集则不然,它不能同时驻留在其中。随机访问模式有些悲观,但即使使用线性访问模式,您的页面也会从缓存中逐出,并且内核将不得不一遍又一遍地从磁盘读取它们。
假装您拥有无限量的存储空间且速度完全相同,这很好,但事实远非如此。
实际上,将文件加载到内存中的唯一两种方法是使用 read
或mmap
。其他选项只是这两个选项之上的一层。对于顺序访问不在页面缓存中的数据,read
之间的区别和mmap
不相关,请参阅mmap() vs. reading blocks
访问模式会改变数据集变大时性能下降的程度,但不会改变数据集太大而无法驻留的事实,无法比磁盘更快。
<如果您要mmap
然后使用open
不是fopen
,fopen
没有必要。
"m"
fopen
的标志没有做你认为它做的事,它在这里没有任何作用。
不要使用open64
, fopen64
, mmap64
或任何废话。只需使用 #define _FILE_OFFSET_BITS 64
。这是现代的处理方式,但当然,它仅适用于 32 位系统 - 并且因为您使用的是 mmap
在偏移量为零时,没有任何意义。
调用 perror
但继续下去就是一个错误。 err()
该功能并非普遍可用,但可以满足您的需求。
没有充分的理由不使用MAP_SHARED
在这里,但这不会改变任何东西。
以下是具有更一致的错误检查的代码的外观:
int fp = open("filename", O_RDONLY);
if (fp == -1)
err(1, "open");
struct stat st;
int r = fstat(fp, &st);
if (r == -1)
err(1, "stat");
// Compiler warning on 64-bit, but is correct
if (st.st_size > (size_t)-1)
errx(1, "file too large");
size_t sz = st.st_size;
void *data = mmap(NULL, sz, PROT_READ, MAP_SHARED, fp, 0);
if (data == MAP_FAILED)
err(1, "mmap");
unsigned counter = 0;
for (char *ptr = data, end = ptr + sz; ptr != end; ptr++)
counter += *ptr;
printf("%u\n", counter);
关于c - mmap 对于不同的文件大小表现不同,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40272437/
这个问题在这里已经有了答案: C sizeof a passed array [duplicate] (7 个回答) 8年前关闭。 在一个函数中,我声明了一个数组: int char_count_ar
简而言之,文件系统如何与 block 设备通信? 最佳答案 我对 block 大小不太了解。我认为 ext4(Linux)的文件系统的 block 大小是 4KB,考虑到现代处理器的页面大小(4KB)
我知道 tinyint(1) 和 tinyint(2) 具有相同的存储空间范围。 唯一的区别是显示宽度不同。这是否意味着 tinyint(1) 将存储所有类型的整数但只正确显示 0 到 9 的范围?而
今晚我已经研究了以下代码几个小时,但我只是摸不着头脑。 当使用函数从标准输入填充数组时,我不断收到“大小 8 的无效写入”和“大小 8 的无效读取”。 如有任何帮助,我们将不胜感激...我知道 Sta
我有一个 valgrind 错误,我不知道如何摆脱它们: ==5685== Invalid read of size 8 ==5685== at 0x4008A1: main (in /home
我对 Hadoop 的概念有点困惑。 Hadoop block 大小、拆分大小和 block 大小 之间有什么区别? 提前致谢。 最佳答案 block 大小和 block 大小相同。 拆分大小 可能与
我想不出一个好的标题,所以希望可以。 我正在做的是创建一个离线 HTML5 webapp。 “出于某些原因”我不希望将某些文件放在缓存 list 中,而是希望将内容放在 localStorage 中。
无法将 xamarin apk 大小减少到 80 MB 以下,已执行以下操作: 启用混淆器 配置:发布 平台:事件(任何 CPU)。 启用 Multi-Dex:true 启用开发人员检测(调试和分析)
我正在开发一个程序,需要将大量 csv 文件(数千个)加载到数组中。 csv 文件的尺寸为 45x100,我想创建一个尺寸为 nx45x100 的 3-d 数组。目前,我使用 pd.read_csv(
Hello World 示例的 React Native APK 大小约为 20M (in recent versions),因为支持不同的硬件架构(ARMv7、ARMv8、X86 等),而同一应用程
我有一个包含 n 个十进制元素的列表,其中每个元素都是两个字节长。 可以说: x = [9000 , 5000 , 2000 , 400] 这个想法是将每个元素拆分为 MSB 和 LSB 并将其存储在
如何设置 GtKTextView 的大小?我想我不能使用 gtk_widget_set_usize。 最佳答案 您不能直接控制小部件的大小,而是由其容器完成。您可以使用 gtk_widget_set_
这个问题在这里已经有了答案: c++ sizeof() of a class with functions (7 个答案) 关闭 5 年前。 结果是 12。 foobar 函数存储在内存中的什么位置
当我在 ffmpeg(或任何其他程序)中使用这样的命令时: ffmpeg -i input.mp4 image%d.jpg 所有图像的组合文件大小总是比视频本身大。我尝试减少每秒帧数、降低压缩设置、模
我是 clojurescript 的新手。 高级编译后出现“77 KB”的javascript文件是否正常? 我有一个 clojurescript 文件: 我正在使用 leinigen: lein c
我想要一个 QPixmap尺寸为 50 x 50。 我试过 : QPixmap watermark(QSize(50,50)); watermark.load(":/icoMenu/preparati
我正在尝试从一篇研究论文中重新创建一个 cnn,但我对深度学习还是个新手。 我得到了一个大小为 32x32x7 的 3d 补丁。我首先想执行一个大小为 3x3 的卷积,具有 32 个特征和步幅为 2。
我一直在尝试调整 View Controller 内的 View 大小,但到目前为止没有运气。基本上,我的 View 最底部有一个按钮,当方向从纵向更改为横向时,该按钮不再可见,因为它现在太靠下了。
如何使用此功能检查图像的尺寸?我只是想在上传之前检查一下... $("#LINK_UPLOAD_PHOTO").submit(function () { var form = $(this);
我用 C++ 完成了这个,因为你可以通过引用传递参数。我无法弄清楚如何在 JavaScript 中执行此操作。我的代码需要更改什么?我的输出是1 this.sizeOfBst = function()
我是一名优秀的程序员,十分优秀!