python - List 在 python 中表现不佳吗？

Question

我试图从一些大文件中读取数据并将它们写回，但我意识到主要成本来自将数据分配给列表而不是从/向文件读取或写入数据....

    rows = [None] * 1446311
    begin = datetime.datetime.now()
    for i in range( 1446311 ):
       row = csvReader.next()
       rows[i] = row
    print datetime.datetime.now() - begin

上面的代码需要 18 秒，但如果我注释掉第 5 行 (rows[i] = row)，则需要 5 秒，我已经提前构建了列表(即保留内存)，但为什么还是这么慢？我能做些什么让它更快？我在 csvReader 中尝试了 row for row 但它的性能更差......

问候，约翰

Answer 1

我得到了类似的结果，但没有你的那么戏剧化。 (注意使用 timeit 模块来计时代码执行，并注意我已经分解了列表创建，因为它对两个测试用例都是通用的。)

import csv
from timeit import Timer

def write_csv(f, n):
    """Write n records to the file named f."""
    w = csv.writer(open(f, 'wb'))
    for i in xrange(n):
        w.writerow((i, "squared", "equals", i**2))

def test1(rows, f, n):
    for i, r in enumerate(csv.reader(open(f))):
        rows[i] = r

def test2(rows, f, n):
    for i, r in enumerate(csv.reader(open(f))):
        pass

def test(t): 
    return (Timer('test%d(rows, F, N)' % t,
                  'from __main__ import test%d, F, N; rows = [None] * N' % t)
            .timeit(number=1))

>>> N = 1446311
>>> F = "test.csv"
>>> write_csv(F, N)
>>> test(1)
2.2321770191192627
>>> test(2)
1.7048690319061279

这是我对发生的事情的猜测。在这两个测试中，CSV 阅读器从文件中读取一条记录，并在内存中创建一个代表该记录的数据结构。

在 test2 中，没有存储记录，数据结构或多或少立即被删除(在循环的下一次迭代中，更新 row 变量，因此前一条记录的引用计数会减少，因此内存会被回收)。这使得用于先前记录的内存可用于重用:此内存已经在计算机的虚拟内存表中，并且可能仍在缓存中，因此它(相对)快。

在存储记录的test1中，每条记录都必须分配到一个新的内存区域中，该区域必须由操作系统分配，并复制到缓存中，所以它是(相对)慢。

所以时间不是被列表分配占用，而是被内存分配占用。

---

这里有另外几个测试说明了正在发生的事情，没有 csv 模块的复杂因素。在 test3 中，我们为每一行创建一个新的 100 元素列表，并将其存储。在 test4 中，我们为每一行创建了一个包含 100 个元素的新列表，但我们不存储它，而是将其丢弃，以便在下一次循环中重新使用内存。

def test3(rows, f, n):
    for i in xrange(n):
        rows[i] = [i] * 100

def test4(rows, f, n):
    for i in xrange(n):
        temp = [i] * 100
        rows[i] = None

>>> test(3)
9.2103338241577148
>>> test(4)
1.5666921138763428

所以我认为教训是，如果您不需要同时将所有行存储在内存中，请不要这样做!如果可以的话，一次一个地读取它们，一次一个地处理它们，然后忘记它们，以便 Python 可以释放它们。