- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
乍一看,让硬盘自行写入 RAM 似乎是个好主意,无需 CPU 指令复制数据,特别是考虑到异步网络的成功。但是 Wikipedia article关于直接内存访问 (DMA) 的声明如下:
With DMA, the CPU gets freed from this overhead and can do useful tasks during data transfer (though the CPU bus would be partly blocked by DMA).
我不明白公交线路如何“部分阻塞”。据推测,当时一台设备可以访问内存,然后看起来 CPU 实际上可以做的有用工作很少。它会在第一次尝试读取未缓存的内存时被阻止,我预计在 2 mb 缓存的情况下会非常快。
释放 CPU 以执行其他任务的目标似乎是无缘无故的。硬盘 DMA 是否会在实践中促进任何性能提升?
最佳答案
1:PIO(编程 IO)破坏 CPU 缓存。从磁盘读取的数据在大多数情况下不会在之后立即处理。应用程序通常以大块的形式读取数据,但 PIO 以较小的 block (通常为 64K IIRC)完成。因此,数据读取应用程序将等到大块传输完毕,而不会从 Controller 中获取的较小块立即在缓存中受益。同时,其他应用程序将遭受大部分缓存被传输驱逐的问题。这可能可以通过使用特殊指令来避免,这些指令指示 CPU 不要缓存数据,而是将其“直接”写入主存储器,但是我很确定这会减慢复制循环的速度。从而造成的伤害甚至超过缓存抖动。
2:PIO,因为它是在 x86 系统和可能大多数其他系统上实现的,与 DMA 相比确实很慢。问题不在于 CPU 不够快。问题源于总线和磁盘 Controller 的 PIO 模式的设计方式。如果我没记错的话,CPU 必须从所谓的 IO 端口读取每个字节(或使用 32 位 PIO 模式时的每个 DWORD)。这意味着对于每个 DWORD 数据,端口的地址必须放在总线上,并且 Controller 必须通过将数据 DWORD 放在总线上来响应。而当使用 DMA 时, Controller 可以利用总线和/或内存 Controller 的全部带宽传输数据突发。当然,这种传统 PIO 设计还有很大的优化空间。 DMA 传输就是这样一种优化。仍然被认为是 PIO 的其他解决方案也可能是可能的,但是他们仍然会遇到其他问题(例如上面提到的缓存抖动)。
3:内存和/或总线带宽不是大多数应用程序的限制因素,因此 DMA 传输不会停止任何事情。它可能会稍微减慢一些应用程序的速度,但通常它应该几乎不会被注意到。毕竟,与总线和/或内存 Controller 的带宽相比,所有磁盘都相当慢。提供> 500 MB/s的“磁盘”(SSD,RAID阵列)非常快。至少不能提供 10 倍于该数量的总线或内存子系统必须来自石器时代。 OTOH PIO 在传输数据 block 时确实会完全停止 CPU。
关于memory - 硬盘直接内存访问的目的是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3716826/
在 ARM 中,内存类型指定为: 正常 设备 强烈有序 在Device type里面,好像这个类型也可以区分 不可共享的设备内存 可共享设备内存 不可共享和可共享设备内存有什么区别?我们如何分别使用这
在 ARM 中,内存类型指定为: 正常 设备 强烈有序 在Device type里面,好像这个类型也可以区分 不可共享的设备内存 可共享设备内存 不可共享和可共享设备内存有什么区别?我们如何分别使用这
This diagram很清楚不同YARN和Spark内存相关设置之间的关系,除了spark.python.worker.memory。 spark.python.worker.memory 如何适应
我正在尝试使用复杂的if-else决策树来实现GLSL片段着色器。不幸的是,着色器编译器很早就失败,并出现“语法错误-内存耗尽”错误。 GLSL中的代码大小或决策树深度是否有任何限制?有什么建议如何克
什么是“标记内存”,它如何帮助减小程序大小? 最佳答案 您可能指的是 tagged union ,或更具体地说是硬件实现,如 LISP 机器中使用的标记架构。基本上是一种存储具有类型信息的数据的方法。
我的内存有问题。我不明白为什么当我的程序长时间运行时 Go 使用越来越多的内存(从不释放它)。 第一次分配后,程序使用了将近 9 MB 的内存。然后在 12 小时后,它开始以指数方式使用更多内存,直到
在 Windows 机器上,MATLAB 用户可以使用 memory或 feature memstats命令。但是,这些都不能在机器上工作,失败如下: >> memory??? Error using
引导 Linux 内核时,可以在 RAM 中加载 initramfs 存档和 DTB 文件,并将这些物理地址指定给内核。例如,使用 U-Boot,您可以执行以下操作: bootz 0x80008000
我正在学习虚拟内存的概念,但是这个问题让我困惑了一段时间。由于大多数现代计算机都使用虚拟内存,因此当程序正在执行时,操作系统应该在 RAM 和磁盘之间将数据分页进出。但为什么我们仍然遇到“内存不足”的
我在 Colab Pro+(使用高 RAM 选项)上运行神经网络时发现了这个问题。 运行时错误:CUDA 内存不足。尝试分配 8.00 GiB(GPU 0;15.90 GiB 总容量;12.04 Gi
当我在任何地方阅读基于操作系统的书籍时,考虑到时间限制和开销很高,从内存和 I\O(子系统)获取数据是昂贵的,这就是为什么在某些硬件制造商中提供一些其他方式来访问它们,如ARM7 some ISAs像
据我所知,ADS v.10 尝试将查询结果保留在内存中,直到它变得非常大。对于 __output 表和临时表也应该如此。当结果变大时,交换声明。 问题是为查询、 worker 等设置了什么内存限制?可
序言 我正在写一个小演示文稿来列出使用 Docker 时的一些“陷阱”,我也遇到了自己的一个问题。 在解释让 Docker 在没有内存限制的情况下运行的危险时,我发现它的行为不像我预期的那样。 我使用
我们有一个 ASP.NET 项目(40 个左右的 Web 表单、50 个表、相当标准的 IO 内容,并尽可能减少),很快需要部署。系统上大约有 100 个并发用户,但任何时候只有大约 20 个用户在使
我在 dotcloud 上使用 redis 内存存储,但尽管 key 已过期,但它的 used_memory 再也不会下降。从 redis-cli 使用 flushdb 或 flushall 不会导致
我使用的是 Xcode 10.2.1 和 macOS Catalina Developer Beta 2。每当我尝试使用内存图调试器时,我都会收到此错误: Memory Graph Debugger:
所以我一直在寻找这个问题的解决方案有一段时间了。我编写了一个程序来从两个单独的文本文件中获取数据,对其进行解析,然后输出到另一个文本文件和一个 ARFF 文件以供 Weka 分析。我遇到的问题是我编写
对不起,我对 erlang 文档中的以下描述不太清楚: erlang:memory() -> [{Type, Size}] with Type: "total" means: "The total a
在查看示例合约时,有时会在带有“内存”的方法中声明数组,有时则不会。有什么区别? 最佳答案 如果没有内存关键字,Solidity会尝试在存储中声明变量。 首席 Solidity 开发者 chriset
我不明白Matlab并行计算工具箱中的parfor cicle是如何与内存一起工作的:我读到它在所有worker之间共享内存(然后我认为每个worker(核心)都可以访问感兴趣的内存位置而无需制作本地
我是一名优秀的程序员,十分优秀!