尽管有 16gb 交换，Python 仍会引发内存错误

Question

在约 2 GB 的 Jetson TK 1 上使用 numpy (1.81)、scipy (0.17.0)、librosa (0.4.2) 运行一些大型矩阵运算(chroma、cqt、mfcc 提取)时出现 MemoryError Ram 和一个 16GB 的交换文件。

非常感谢任何帮助!

错误信息

    Traceback (most recent call last):
  File "./analyze_structure.py", line 480, in <module>
    args.cutoff, args.order, args.sr, args.feature, bool(args.as_diff))
  File "./analyze_structure.py", line 452, in plotData
    tracks)
  File "./analyze_structure.py", line 178, in plotStructure
    feat, beat_times = extractChroma(filename, file_ext)
  File "./analyze_structure.py", line 75, in extractChroma
    hop_length=HOP_LENGTH)
  File "/usr/local/lib/python2.7/dist-packages/librosa-0.4.2-py2.7.egg/librosa/feature/spectral.py", line 800, in chroma_stft
    tuning = estimate_tuning(S=S, sr=sr, bins_per_octave=n_chroma)
  File "/usr/local/lib/python2.7/dist-packages/librosa-0.4.2-py2.7.egg/librosa/core/pitch.py", line 82, in estimate_tuning
    pitch, mag = piptrack(y=y, sr=sr, S=S, n_fft=n_fft, **kwargs)
  File "/usr/local/lib/python2.7/dist-packages/librosa-0.4.2-py2.7.egg/librosa/core/pitch.py", line 270, in piptrack
    util.localmax(S * (S > (threshold * S.max(axis=0)))))
  File "/usr/local/lib/python2.7/dist-packages/librosa-0.4.2-py2.7.egg/librosa/util/utils.py", line 820, in localmax
    x_pad = np.pad(x, paddings, mode='edge')
  File "/usr/lib/python2.7/dist-packages/numpy/lib/arraypad.py", line 1364, in pad
    newmat = _prepend_edge(newmat, pad_before, axis)
  File "/usr/lib/python2.7/dist-packages/numpy/lib/arraypad.py", line 175, in _prepend_edge
    axis=axis)
MemoryError

Answer 1

Jetson TK1 是一款 32 位处理器。它没有足够的虚拟地址空间来从一个进程访问超过 4GB 的 RAM。

内核可以利用您的 16GB 页面文件为许多单独的进程提供 4GB 的内存，但这仍然不会向单个进程公开超过 4GB 的地址。它只允许单独的进程单独使用最多 4GB 的 RAM(在 Linux 上，您很可能有 2GB 或 3GB 的限制，具体取决于您的内核设置)。

您应该将您的工作分成更小的部分或使用具有更多可用地址空间的平台。