python - 如何使用多色热图解决 MemoryError

Question

我正在尝试通过从文件中读取数据来绘制具有多种颜色的热图。我可以很好地生成 2D 和法线热图，但无法像附加图像那样绘制。当使用随机数时，我可以绘制它但是在从文件中读取数据时它显示错误。

上面的热图是用随机数据生成的

输入:col[1] 和col[2] 是x 和y 坐标

00022d9064bc 819251 440006 1073260801 1073260803 2.0 
00022dba8f51 819251 440006 1073260801 1073260803 2.0 
00022de1c6c1 819251 440006 1073260801 1073260803 2.0 
003065f30f37 819251 440006 1073260801 1073260803 2.0 
00904b48a3b6 819251 440006 1073260801 1073260803 2.0 
00904b83a0ea 819213 439954 1073260803 1073260810 7.0 
00904b85d3cf 817526 439458 1073260803 1073261920 1117.0 
00904b14b494 817558 439525 1073260804 1073265410 4606.0 
00904b99499c 817558 439525 1073260804 1073262625 1821.0 
00904bb96e83 817558 439525 1073260804 1073265163 4359.0 
00904bf91b75 817558 439525 1073260804 1073263786 2982.0 
00022d36a6df 820428 438735 1073260807 1073260809 2.0 

代码:

from matplotlib import pyplot as plt 
from matplotlib import cm as CM
from matplotlib import mlab as ml
import numpy as np 

data = np.loadtxt('inputfile', unpack=True, dtype='str, int, int, int, int, float')

x  = data[1]
y  = data[2]

X, Y = np.meshgrid(x,y)

x = X.ravel()
y = Y.ravel()

gridsize = 30 
plt.subplot(111)

cb = plt.colorbar()
cb.set_label('density')
plt.show() 

错误:

Traceback (most recent call last):
  File "heat3.py", line 11, in <module>
    X, Y = np.meshgrid(x,y)
  File "/usr/lib/python2.7/dist-packages/numpy/lib/function_base.py", line 3106, in meshgrid
    mult_fact = np.ones(shape, dtype=int)
  File "/usr/lib/python2.7/dist-packages/numpy/core/numeric.py", line 178, in ones
    a = empty(shape, dtype, order)
MemoryError

感谢任何有用的建议

Answer 1

您看到的错误来自 meshgrid 试图构建可能相当大的矩阵。如果您的数据包含 N 行，则矩阵将为 N×N。根据您拥有的点数以及它们的密集程度，您将需要热图中的两个内容之一。要么

1. 你想在相距很远的点之间进行插值以形成光滑的表面，或者
2. 您想通过计算落入特定区域的数量(2D 直方图)来聚合密集点。

我已经修改了下面的代码以适用于第二种情况(hexbin 自动执行此操作)，因为您似乎没有引用数据中的第三个值进行插值。

from matplotlib import pyplot as plt 
from matplotlib import cm as CM
from matplotlib import mlab as ml
import numpy as np 

data = np.loadtxt('inputfile', unpack=True, dtype='str, int, int, int, int, float')

x = data[1]
y = data[2]
z = data[5]

# These lines are completely unnecessary and perhaps come
# from a different solution which was interpolating between points
#X, Y = np.meshgrid(x,y)
#x = X.ravel()
#y = Y.ravel()

gridsize = 30 
#plt.subplot(111)  # <- You don't need this as it is one plot anyway
plt.hexbin(x, y, C=z)   # <- You need to do the hexbin plot
cb = plt.colorbar()
cb.set_label('density')
plt.show() 

我在上面注释掉的残留 meshgrid 调用可能来自您在某处找到的一段代码，该代码执行第一个选项(在间隔点之间进行插值)，也许我使用 griddata 。如果这实际上是你想要的，你可以看看这个 cookbook entry 网格化不规则间隔的数据