python - 使用 PyMC3 进行多图像处理

Question

我有一个图像处理问题，我想我可以用它来尝试更多地了解 PyMC3。我花了很多时间摆弄非线性求解器和蛮力方法，但到目前为止没有什么能让我开心。

我遇到的问题涉及一种复杂的方法，用于共同注册同一场景的两张图像，但以不同的方式记录。想想尝试将普通的黑白可见图像与热红外图像相匹配。或者，从医学成像的角度，考虑尝试将 MRI 数据与 X 射线数据相匹配。

为了简单起见，我可以用以下函数表示我的数据处理工作流程:

def process_and_compare(image_src, image_dst, parameters):
    """
    Parameters
    ----------
    image_src : 2D array
    image_trg : 2D array
    parameters : sequence of 7 scalars defining image transform

    Output
    ------
    metric : Scalar value indicating how well the transformed source image
             matches up with the target image.
    """

    image_src_warp = image_warper(image_src, parameters)
    metric = compare_two_images(image_src_warp, image_trg)

    return metric

此函数将两张图像和一个模型参数向量作为输入。一些复杂的数字运算发生在内部。完成后返回一个标量，指示模型(仅由参数向量定义)对齐两个图像的程度。源图像如何变形或两个图像如何比较的细节目前是黑盒子。最后，我最终想要的主要结果是与模型对应的扭曲图像，从而产生最佳匹配。但是现在，当我还在研究我的算法时，我认为通过可视化一些简单测试用例图像的模型参数的后验分布，我可以学到很多东西。我最初认为 PyMC 会让这一切变得简单，但当我开始研究实际的实现细节后，我有点困惑。

我查看了最近的 PyMC3 presentations由 Thomas Wiecki 撰写，还通读了 Cam Davidson-Pilon 的大部分精彩在线书籍.到目前为止，在我看来，PyMC3 与 PyMC2 相比的重要新功能(部分)是一个时髦的模型规范 syntax并自动使用 Theano用于处理加速。

在我目前看到的示例中，数据模型现在似乎经常使用新语法系统完全指定。但就我而言，我有这个更复杂的功能。

这是我的问题:

1. 有人可以向我指出一个现有的 PyMC 示例，该示例涉及作为用户函数实现的黑盒数据模型吗？ PyMC2 或 PyMC3 都很棒!

2. 一旦我弄清楚如何使用 PyMC3 使其工作后，我是否能够在我的 Python 数据模型函数中深入了解 Theano 的好处？

Answer 1

您在上面指定的函数将作为确定性节点合并到 PyMC 模型中，它是根据某些(可能)随机父节点(您的参数)计算的。然后，该节点将在下游连接到提供拟合参数信息的可能性(观察到的随机节点)。例如，您可能有一些参数分布，它描述了与 process_and_compare 的度量输出对应的错误分布。

PyMC wiki在 PyMC 2 的一系列领域中有几个模型示例。主分支的 pymc/examples 文件夹中有 PyMC 3 示例。

就 Theano 而言，使用它作为 PyMC 的依赖项背后的动机是因为 MCMC 当前最先进的技术涉及使用梯度信息，因此我们需要能够计算任意梯度的能力楷模。我们希望最终能从它的 GPU 功能中获益，但目前它仅适用于渐变。 PyMC 的所有对象都是版本 3 中的 Theano 张量，因此如果您在构建贝叶斯模型的背景下对 Theano 有其他计划，那么它很可能会起作用。例如，我们可能最终想在 PyMC 中实现概率图形模型，因此 Theano 也可能会促进这一点。