python - 在 tensorflow 概率中指定 DirichletMultinomial

Question

这可能非常基本，但我无法弄清楚 - 我有一个从狄利克雷多项式生成的 100x5 矩阵 y ，我想使用 tensorflow 推断参数 gamma可能性。下面是我实现的模型(为简单起见，我假设目前所有 5 个类的 gamma 都相同):

def dirichlet_multinomial_model(S, p, N, tau):
    gamma = ed.Gamma(2.0, 3.0, name='gamma')
    y = ed.DirichletMultinomial(500, tf.ones(5)*gamma, name='y')
    return y

log_joint = ed.make_log_joint_fn(dirichlet_multinomial_model)

def target_log_prob_fn(gamma):
  return log_joint(
     S=S, p=p, N=N, tau=tau,
     gamma=gamma,
     y=y)

当我尝试使用 HMC 从中采样时，出现以下错误:

ValueError: Incompatible shape for initialization argument 'value'. Expected (5,), got (100, 5).

因此，指定长度为 5 的 gamma 向量似乎导致程序期望我的数据的形状为 5x1。我无法弄清楚如何正确指定模型 - 任何指针将不胜感激。

Answer 1

正如我的评论中所暗示的，此处的修复方法是使用 sample_shape=[100,] 而不是 sample_shape=[100, 5]。我们在 TF Distributions 库(Edward 封装的)中有 3 个形状概念:样本形状、批量形状和事件形状。

事件形状描述了来自分布的单次绘制的形状。例如，5 维的多元正态分布具有 event_shape=[5,]

批量形状描述了独立的、不同分布的绘制；一批“分布”。例如，Normal(loc=[1., 2., 3], scale=1.) 的 batch_shape 为 3，因为有 3 个值传递给了 loc 参数。

示例形状描述了从一批分布中提取的 IID。生成的采样 Tensor 具有形状 S + B + E，其中 S、B 和 E 分别是样本、批处理和事件形状。

在您的示例中，DirichletMultinomial 具有形状为 [5,] 的浓度参数。这对应于分布的事件形状:此分布中的每次抽取都将是 5 个整数的集合，总计为 total_count。当您对分布进行 100 次采样时，您确实会得到 shape=[100, 5] 的结果，但 5 隐含在分布的事件形状中 - 您只绘制了 100 个样本，因此 sample_shape=[100,]

以上大部分文字摘自 this great notebook ，其中包含有关 TF 分布形状的更多详细信息。

希望这有助于澄清问题!快乐采样! ^_^