gpflow - 具有多输入的多输出 GP？

Question

我正在尝试使用多维输入数据在 GPFlow 中实现多输出 GP。

我从this issue看到了在 GPflow 中，通过“定义多维基础内核，然后在其上应用核心区域”，可以实现多维输入。

我已经编写了以下代码，我知道对于同位素数据(获得所有输出)，可以使用如 this notebook 中所述的其他方式但在这里，因为我需要尝试 ICM，所以让我们继续下面的代码。

但是，当我尝试运行以下代码时:

from gpflow.gpr import GPR
import gpflow
import numpy as np
from gpflow.kernels import Coregion


def f(x):
    def _y(_x):
        function_sum = 0
        for i in np.arange(0, len(_x) - 1):
            function_sum += (1 - _x[i]) ** 2 + 100 * ((_x[i + 1] - _x[i] ** 2) ** 2)
        return function_sum
    return np.atleast_2d([_y(_x) for _x in (np.atleast_2d(x))]).T


isotropic_X = np.random.rand(100, 2) * 4 - 2
Y1 = f(isotropic_X)
Y2 = f(isotropic_X) + np.random.normal(loc=2000, size=(100,1))
Y3 = f(isotropic_X) + np.random.normal(loc=-2000, size=(100,1))

# a Coregionalization kernel. The base kernel is Matern, and acts on the first ([0]) data dimension.
# the 'Coregion' kernel indexes the outputs, and actos on the second ([1]) data dimension
k1 = gpflow.kernels.Matern32(2)
coreg = Coregion(1, output_dim=3, rank=1, active_dims=[3]) # gpflow.kernels.Coregion(2, output_dim=2, rank=1)
coreg.W = np.random.rand(3, 1)
kern = k1 * coreg

# Augment the time data with ones or zeros to indicate the required output dimension
X_augmented = np.vstack((np.hstack((isotropic_X, np.zeros(shape=(isotropic_X.shape[0], 1)))),
                         np.hstack((isotropic_X, np.ones(shape=(isotropic_X.shape[0], 1)))),
                        np.hstack((isotropic_X, 2 * np.ones(shape=(isotropic_X.shape[0], 1))))))

# Augment the Y data to indicate which likeloihood we should use
Y_augmented = np.vstack((np.hstack((Y1, np.zeros(shape=(Y1.shape[0], 1)))),
                         np.hstack((Y2, np.ones(shape=(Y2.shape[0], 1)))),
                         np.hstack((Y3, 2 * np.ones(shape=(Y3.shape[0], 1))))))

# now buld the GP model as normal
m = GPR(X_augmented, Y_augmented, kern=kern)
m.optimize()

print(m.predict_f(np.array([[0.2, 0.2, 0], [0.4, 0.4, 0]])))

它返回给我类似的东西:

  "Converting sparse IndexedSlices to a dense Tensor of unknown shape. "
Traceback (most recent call last):
  File "C:\Users\Administrator\Anaconda3\lib\site-packages\tensorflow\python\client\session.py", line 1356, in _do_call
    return fn(*args)
  File "C:\Users\Administrator\Anaconda3\lib\site-packages\tensorflow\python\client\session.py", line 1341, in _run_fn
    options, feed_dict, fetch_list, target_list, run_metadata)
  File "C:\Users\Administrator\Anaconda3\lib\site-packages\tensorflow\python\client\session.py", line 1429, in _call_tf_sessionrun
    run_metadata)
tensorflow.python.framework.errors_impl.InvalidArgumentError: indices[0] = 3 is not in [0, 3)
     [[{{node name.build_likelihood/name.kern.K/name.kern.coregion.K/GatherV2}}]]

所以我的问题是:
- 这是什么问题以及如何使用多维输入启用多输出 GP
- 我不太了解 gpflow 与 coregion 的工作流程，来自 this multi-output gp slide ，ICM 从潜在过程 $u$ 的加法形式返回输出 GP，该潜在过程 $u$ 从一个由其权重 $W$ 参数化的 GP 中采样。但是在 gpflow notebook demo我看不到任何潜在的过程，笔记本上说“‘Coregion’内核索引输出，并作用于增强 X 值的最后一个 ([1]) 数据维度(索引)”，这是完全不同的除了幻灯片，我真的对这些不同的描述感到困惑，有什么提示吗？

Answer 1

问题只是您的偏移索引:核心区域化内核应该是

coreg = Coregion(input_dim=1, output_dim=3, rank=1, active_dims=[2])

因为 active_dims=[2] 索引第三列。

感谢您提供完全可重现的示例!我设法运行了您的代码，并使用 AdamOptimizer 和 ScipyOptimizer 的几个步骤成功地优化了模型，达到对数似然值 -2023.4。