python - 在 Python 3 中加速分配给定两个值的概率密度

Question

对于我的一些研究，我需要在给定值、平均值和标准差的情况下分配概率密度，除非我需要这样做大约 4000 万次，因此加速此代码对于在生产时尚。

我只有 10 个值要测试(值 = 10x1 矩阵)，但我想为每个值分配一个概率，因为每个值总共有 400 万个截断的正态分布，每个都有不同的平均值(all_means = 400 万x 10 矩阵)和相同的标准偏差(误差 = 1 值)。到目前为止，我一直用来执行此操作的代码如下:

import scipy.stats as ss

all_probabilities =[]

for row in all_means:

    temp_row = []
    for i in range(len(row)):

        # Isolate key values
        mean = row[i]
        error = 0.05
        value = values[i]

        # Create truncated normal distribution and calculate PMF
        a, b = 0, np.inf
        mu, sigma = float(mean), float(error)
        alpha, beta = ((a-mu)/sigma), ((b-mu)/sigma)
        prob = ss.truncnorm.pdf(float(value), alpha, beta, loc=mu, scale=sigma)
        temp_row.extend([prob])

    all_probabilities.extend([temp_row])

单个循环平均需要 5 毫秒，但要执行 400 万次，意味着这部分代码将需要大约 5 个小时才能完成。我认为限制因素在于调用 ss.truncnorm.pdf 和使用扩展。后者我可以通过预先分配概率矩阵来解决，但我认为前者没有解决方法。

有关更多上下文，这段代码是平均使用此代码 5 次的算法的一部分(尽管要测试的分布数量迅速减少)，因此任何加速此代码的技巧都将是巨大的帮助。

如果这是微不足道的，我深表歉意，我是优化代码方面的新手，找不到任何关于此类问题的具体信息。

Answer 1

您可以避免内部循环，因为 scipy.stats.truncnorm 可以定义为随机变量的向量，即

import numpy as np
from scipy.stats import truncnorm

all_probabilities = []
a, b = 0, np.inf
error = 0.05

for row in all_means:

    alpha, beta = ((a-row )/error), ((b-row )/error)

    # vectorized truncnorm
    rv_tn = truncnorm(alpha, beta, loc=row, scale=error)

    # predict vector
    prob = rv_tn.pdf(values)

    all_probabilities.extend(prob)