个人中心
文章发布
退出
作者热门文章
- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
26
4
我必须处理非常大的文本文件(2 GB)，必须逐行读取/写入它们。使用 ofstream 写入 2300 万行真的很慢，所以一开始，我试图加快在内存缓冲区(例如 256 MB 或 512 MB)中写入大块行的过程，然后将缓冲区写入文件.这没有用，性能大致相同。我在读取文件时遇到同样的问题。我知道 I/O 操作由 STL I/O 系统缓冲，这也取决于磁盘调度程序策略(由操作系统管理，在我的例子中是 Linux)。
关于如何提高性能有什么想法吗？
PS:我一直在考虑在程序处理数据时使用后台子进程(或线程)来读取/写入数据 block ，但我不知道(主要是在子进程的情况下)这是否会值得。
最佳答案
一个 2GB 的文件相当大，您需要了解所有可能成为瓶颈的区域:
我会先做一些测量:
' dd 能有多快？ '命令读取和写入磁盘？示例...
dd if=/dev/zero bs=1024 count=2000000 of=file_2GB
假设您的磁盘能够以大约 40Mb/s 的速度读取/写入(这可能是一个实际的数字)，您的 2GB 文件的运行速度不会超过大约 50 秒。
实际需要多长时间？
Hi Roddy, using fstream read method with 1.1 GB files and large buffers(128,255 or 512 MB) it takes about 43-48 seconds and it is the same using fstream getline (line by line). cp takes almost 2 minutes to copy the file.
在这种情况下，您将受限于硬件。 cp 必须读取和写入，并且会在执行此操作时疯狂地在磁盘表面来回搜索。所以它(如您所见)将是简单“读取”情况的两倍多。
为了提高速度，我首先尝试的是更快的硬盘驱动器或 SSD。
你还没说磁盘接口(interface)是什么？ SATA 几乎是最简单/最快的选择。另外(很明显，这...)确保磁盘物理上位于您的代码运行的同一台机器上，否则您将受网络限制...
关于c++ - 何时为 I/O (C++) 构建您自己的缓冲系统？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/268121/
26
4
0
在使用 requests 库中的状态代码时，我遇到了一些奇怪的事情。每个 HTTP 状态代码都有一个常量，有些具有别名(例如，包括 200 的复选标记): url = 'https://httpbin
这是我得到的代码，但我不知道这两行是什么意思: o[arr[i]] = o[arr[i]] || {}; o = o[arr[i]]; 完整代码: var GLOBAL={}; GLOBAL.name
所以这个问题的答案What is the difference between Θ(n) and O(n)? 指出“基本上，当我们说算法是 O(n) 时，它也是 O(n2)、O(n1000000)、O
这是一个快速的想法；有人会说 O(∞) 实际上是 O(1) 吗？ 我的意思是它不依赖于输入大小？ 所以在某种程度上它是恒定的，尽管它是无限的。 或者是唯一“正确”的表达方式 O(∞)？ 最佳答案 无穷
这是真的: log(A) + log(B) = log(A * B) [0] 这也是真的吗？ O(log(A)) + O(log(B)) = O(log(A * B)) [1] 据我了解 O(f
我正在解决面试练习的问题，但我似乎无法找出以下问题的时间和空间复杂度的答案: Given two sorted Linked Lists, merge them into a third list i
我了解 Big-Oh 表示法。但是我该如何解释 O(O(f(n))) 是什么意思呢？是指增长率的增长率吗？ 最佳答案 x = O(n)基本上意味着 x <= kn对于一些常量 k . 因此 x = O
我正在编写一个函数，该函数需要一个对象和一个投影来了解它必须在哪个字段上工作。 我想知道是否应该使用这样的字符串: const o = { a: 'Hello There' }; funct
直觉上，我认为这三个表达式是等价的。 例如，如果一个算法在 O(nlogn) + O(n) 或 O(nlogn + n) 中运行(我很困惑)，我可以假设这是一个O(nlogn) 算法？ 什么是真相？
根据 O'Reilly 的 Python in a Nutshell 中的 Alex Martelli，复杂度类 O(n) + O(n) = O(n)。所以我相信。但是我很困惑。他解释说:“N 的两个
O(n^2)有什么区别和 O(n.log(n)) ? 最佳答案 n^2 的复杂性增长得更快。 关于big-o - 大 O 符号 : differences between O(n^2) and O(n
每当我收到来自 MS outlook 的电子邮件时，我都会收到此标记 & nbsp ; (没有空格)哪个显示为？在 <>. 当我将其更改为 ISO-8859-1 时，浏览器页面字符集编码为 UTF-8
我很难理解 Algorithms by S. Dasgupta, C.H. Papadimitriou, and U.V. Vazirani - page 24 中的以下陈述它们将 O(n) 的总和表
我在面试蛋糕上练习了一些问题，并在问题 2给出的解决方案使用两个单独的 for 循环(非嵌套)，解决方案提供者声称他/她在 O(n) 时间内解决了它。据我了解，这将是 O(2n) 时间。是我想错了吗，
关于 Java 语法的幼稚问题。什么 T accept(ObjectVisitorEx visitor); 是什么意思？ C# 的等价物是什么？ 最佳答案 在 C# 中它可能是: O Accept(
假设我有一个长度为 n 的数组，我使用时间为 nlogn 的排序算法对它进行了排序。得到这个排序后的数组后，我遍历它以找到任何具有线性时间的重复元素。我的理解是，由于操作是分开发生的，所以时间是 O(
总和 O(1)+O(2)+ .... +O(n) 的计算结果是什么？ 我在某处看到它的解决方案: O(n(n+1) / 2) = O(n^2) 但我对此并不满意，因为 O(1) = O(2) = co
这个问题在这里已经有了答案: 11 年前关闭。 Possible Duplicate: Plain english explanation of Big O 我想这可能是类里面教的东西，但作为一个自学
假设我有两种算法: for (int i = 0; i 2)更长的时间给定的一些n - 其中n这种情况的发生实际上取决于所涉及的算法 - 对于您的具体示例， n 2)分别时间，您可能会看到: Θ(n)
这个问题在这里已经有了答案: Example of a factorial time algorithm O( n! ) (4 个回答) 6年前关闭。 我见过表示为 O(X!) 的 big-o 示例但
我是一名优秀的程序员,十分优秀！