python - pcolormesh 内存使用

Question

我已经为此苦苦挣扎了一段时间。我有一组图像，我对这些图像的 X、Y 坐标执行一些数学运算，然后使用 pcolormesh 绘制新图像。我已经完成的所有计算，我所做的就是加载新的 X 和新的 Y，并使用 pcolormesh 中图像的颜色。

图像大小为 2048x2448 像素(比如大约 5mp)，第一个图像运行速度非常快，之后的每个图像脚本都会变慢并占用更多内存。我尝试过一些垃圾收集，但不起作用。

我的脚本:

import numpy as np
from PIL import Image
import cPickle as pickle
import matplotlib.pyplot as plt
import os

# TRY forced garbage collection!
import gc

def rectify(cam_files, cam_rec_files, rec_file_location):
    ''' cam_files is a dictionary that contains the filenames with the camera-names as index
            example: {'KDXX04C' : C:\Users\Yorian\Desktop\TU\Stage Shore\python_files\Rectify, metadata and upload\v3\archive\KDXXXXX\original\snap\1381383000\{filename}.jpg }

        cam_rec_files_dir contains a dictionary, cameraName : fileLocation
            example: {'KDXX04C' : C:\Users\Yorian\Desktop\TU\Stage Shore\python_files\Rectify, metadata and upload\v3\camdata\KDXXXXX\KDXX04C.pkl }

        rec_file_location is a string that shows where the new rectification needs to be saved '''
    fig, ax = plt.subplots(1, 1, figsize=(60,90))

    for camname in cam_files:
        img = Image.open(cam_files[camname])
        img = np.asarray(img, dtype=np.uint8)
        height, width, channels = img.shape

        # load plot data
        fh = open(cam_rec_files[camname], 'rb')
        X = pickle.load(fh)
        Y = pickle.load(fh)

        masks = [X<=0, X>1500, Y>4000, Y<-4000]
        total_mask = masks[0] | masks[1] | masks[2] | masks[3]
        first_false = np.argwhere(total_mask == 0)
        start = int(first_false[0]/width)

        rgb = img.reshape((-1,3))/255.0
        rgba = np.concatenate((rgb, np.ones((rgb.shape[0],1), dtype=np.uint8)), axis=1)
        rgba[total_mask,3] = 0
        rgba = rgba.reshape((height,width,4))[:,:-1,:]
        rgba = rgba.reshape((-1,4))

        plotimg = ax.pcolormesh(X.reshape((height, width))[start:,:], Y.reshape((height, width))[start:,:], img.mean(-1)[start:,:], cmap='Greys') # img.mean(-1)

        plotimg.set_array(None)
        plotimg.set_edgecolor('none')
        plotimg.set_facecolor(rgba[(start*(width-1)):,:])

        fh.close()

    plt.savefig(rec_file_location)
    gc.collect()

它可以工作到六个图像，但是当我尝试八个图像时，我的内存不足(我使用 python 64 位，并且我的计算机上有 12GB 内存，我认为已经足够了)。

有人知道如何解决这个问题吗？

Answer 1

简而言之，请调用plt.close(fig)当你完成它时，如果你使用 pyplot界面并希望生成大量图形而不显示它们。

每次您调用 rectify函数，您正在创建一个新的(非常大!!)图形，然后将其保存在内存中。 pyplot保留对该图的引用，以便在您调用 plt.show() 时可以显示它。调用 plt.close(fig)或不使用 pyplot 创建数字状态机。 ( fig.clf() 也可以，但会保留对空白数字的引用。)

此外，考虑到您正在读取图像文件，您的值可能位于常规的 x 和 y 网格上。如果是这样，请使用 imshow而不是pcolormesh 。它速度更快，内存效率更高。

<小时/>

作为第一期的示例，您的 rectify函数基本上执行类似这样的操作，并且您可能会重复调用它(如下面的循环所示):

import numpy as np
import matplotlib.pyplot as plt

def rectify():
    fig, ax = plt.subplots()
    ax.pcolormesh(np.random.random((10,10)))
    fig.savefig('blah.png')

for _ in range(10):
    rectify()

plt.show()

请注意，我们会弹出 10 个数字。 pyplot保留对该图的引用，以便可以使用 show 显示它。

如果你想从 pyplot 中删除该数字状态机，调用plt.close(fig) 。

例如，如果您这样做，则不会显示任何数字:(通过调用 plt.close(fig) 从 pyplot 的图形管理器中删除图形后，每个图形都将按照您的预期进行垃圾收集。)

import numpy as np
import matplotlib.pyplot as plt

def rectify():
    fig, ax = plt.subplots()
    ax.pcolormesh(np.random.random((10,10)))
    fig.savefig('blah.png')
    plt.close(fig)

for _ in range(10):
    rectify()

plt.show()

或者，您可以绕过 pyplot直接制作人物和 Canvas 。 Pyplot 的图形管理器不会参与其中，并且图形实例将如您所期望的那样被垃圾收集。但是，此方法相当冗长，并且假设您对 matplotlib 在幕后的工作原理有更多了解:

import numpy as np
from matplotlib.figure import Figure
from matplotlib.backends.backend_agg import FigureCanvasAgg as FigureCanvas

# Don't need this, but just to demonstrate that `show()` has no effect...
import matplotlib.pyplot as plt

def rectify():
    fig = Figure()
    FigureCanvas(fig)
    ax = fig.add_subplot(1,1,1)
    ax.pcolormesh(np.random.random((10,10)))
    fig.savefig('blah.png')

for _ in range(10):
    rectify()

plt.show()