python - 当我使用生成器表达式和迭代器从网格上的常规网格插入数据 >2000 次时，我收到 MemError

Question

这是我在 stackoverflow 的第一个问题，因为我开始使用 Python3 编写脚本。

申请

我制作了一个 Python3 脚本，该脚本为 LS-Dyna 中的有限元模拟编写了可移动热源的负载定义。作为源，我有一个离散的 3D 热生成率密度 (W/cm^3) 场、定义有限元网格的坐标和热场中心随时间的位置。作为输出，我得到一个时间相关的加热功率，在每个有限元的元素编号之后排序。这已经适用于合理的尺寸(200000 个有限元、热场的 3000 个位置、热场中的 400000 个数据点)。

问题

对于较大的有限元网格(4 000 000 个元素)，我的内存不足(60GB RAM，python3 64 位)。为了进一步说明问题，我准备了一个独立运行的最小示例。它会生成一些人工测试数据、我如何使用它的有限元网格(实际上它不是规则网格)和用于热应用新位置的迭代器。

import numpy as np
import math
from scipy.interpolate import RegularGridInterpolator
def main():
    dataCoordinateAxes,dataArray = makeTestData()
    meshInformationArray = makeSampleMesh()
    coordinates = makeSampleCoordinates()
    interpolateOnMesh(dataCoordinateAxes,dataArray,meshInformationArray,coordinates)

def makeTestData():
    x = np.linspace(-0.02,0.02,300)
    y = np.linspace(-0.02,0.02,300)
    z = np.linspace(-0.005,0.005,4)
    data = f(*np.meshgrid(x,y,z,indexing='ij',sparse=True))
    return (x,y,z),data

def f(x,y,z):
    scaling = 1E18
    sigmaXY = 0.01
    muXY = 0
    sigmaZ = 0.5
    muZ = 0.005
    return weight(x,1E-4,muXY,sigmaXY)*weight(y,1E-4,muXY,sigmaXY)*weight(z,0.1,muZ,sigmaZ)*scaling

def weight(x,dx,mu,sigma):
    result = np.multiply(np.divide(np.exp(np.divide(np.square(np.subtract(x,mu)),(-2*sigma**2))),math.sqrt(2*math.pi*sigma**2.)),dx)
    return result

def makeSampleMesh():
    meshInformation = []
    for x in np.linspace(-0.3,0.3,450):
        for y in np.linspace(-0.3,0.3,450):
            for z in np.linspace(-0.005,0.005,5):
                meshInformation.append([x,y,z])
    return np.array(meshInformation)

def makeSampleCoordinates():
    x = np.linspace(-0.2,0.2,500)
    y = np.sqrt(np.subtract(0.2**2,np.square(x)))
    return (np.array([element[0],element[1],0])for element in zip(x,y))

然后在此函数中完成插值。我删除了 for 循环中的所有内容以隔离问题。实际上，我将负载曲线导出到特定格式的文件中。

def interpolateOnMesh(dataCoordinateAxes,dataArray,meshInformationArray,coordinates):
    interpolationFunction = RegularGridInterpolator(dataCoordinateAxes, dataArray, bounds_error=False, fill_value=None)
    for finiteElementNumber, heatGenerationCurve in enumerate(iterateOverFiniteElements(meshInformationArray, coordinates, interpolationFunction)):
        pass
    return

def iterateOverFiniteElements(meshInformationArray, coordinates, interpolationFunction):
    meshDataIterator = (np.nditer(interpolationFunction(np.subtract(meshInformationArray,coordinateSystem))) for coordinateSystem in coordinates)
    for heatGenerationCurve in zip(*meshDataIterator):
        yield heatGenerationCurve

if __name__ == '__main__':
    main()

为了找出问题所在，我跟踪了一段时间内的内存消耗。 Memory Consumption over Time似乎对结果数组的迭代消耗了大量内存。

问题

是否有一种内存消耗更少的方法来迭代数据点而不会损失太多性能？如果没有，我想我会把网格数组切成 block ，然后一个一个地插值。

Answer 1

到目前为止，我找到的唯一解决方案是剪切 meshInformationArray。这里是修改后的 main() 函数:

def main():
    dataCoordinateAxes,dataArray = makeTestData()
    meshInformationArray = makeSampleMesh()
    coordinates = makeSampleCoordinates()
    sections = int(meshInformationArray.shape[0] / 100000)
    if sections == 0: sections = 1
    for array in iter(np.array_split(meshInformationArray, sections, axis=0)):
        interpolateOnMesh(dataCoordinateAxes,dataArray,array,coordinates)