python - 为什么 Tensorflow 中二元分类头的 logit_dimension=1 ？

Question

我很难理解二元分类头在 Tensorflow 中的工作原理。我正在尝试在 Tensorflow 中创建自定义多头估算器。我的代码如下所示:

def model_fn_multihead(features, labels, mode, params):
    # Create simple heads and specify head name.
    head_target_0 = tf.contrib.estimator.binary_classification_head(name=target_0)

    head_target_1 = tf.contrib.estimator.multi_class_head(n_classes=3, name=target_1)

    # Create multi-head from two simple heads.
    head = tf.contrib.estimator.multi_head([head_target_0, head_target_1])
    # Create logits for each head, and combine them into a dict.

    net = tf.feature_column.input_layer(features, params['feature_columns'])
    for idx, units in enumerate(params['hidden_units']):
        net = tf.layers.dense(net, units=units, activation=tf.nn.relu, name='fully_connected_%d' % idx)

    # Compute logits (1 per class).
    logits_0 = tf.layers.dense(net, 2, activation=None, name='logits_0')
    logits_1 = tf.layers.dense(net, 3, activation=None, name='logits_1')

    logits = {target_0: logits_0, target_1: logits_1}

    def _train_op_fn(loss):
        return tf.train.AdagradOptimizer(learning_rate=0.01).minimize(loss, global_step=tf.train.get_global_step())    

    return head.create_estimator_spec(features=features, labels=labels, mode=mode, logits=logits, train_op_fn=_train_op_fn)

问题是，如果我按原样运行代码，如果我在 tensorflow\contrib\estimator\python\estimator 深入研究源代码，Tensorflow 会提示 logits_0 的尺寸错误\multi_head.py，它期望“logits_0”的 logits 维度为“1”，但是在二元分类器中显然有两个类。这是怎么回事？如果我将维度设置为“1”，代码会运行，但我在训练中总是会得到无意义的结果。基本上，即使只有一个微不足道的特征，分类器也无法学习 1/0 目标之间的差异。

此代码非常适合多个多类头 (n_class>2)。

我使用的是 Tensorflow 1.4。我只是误会了什么吗？也许我的输入格式不正确？

更新:

我弄清楚问题是什么，Tensorflow需要一个“bool”类型的张量，提交1、0、0、1等标签是不够的，用tf.equal包装标签(标签，1)解决了这个问题。现在我明白为什么logits_dimension是1了。但是，这仍然不能解决我的实际问题。也就是说，二元分类器在包装在 multi_head 中时似乎不起作用。分类结果总是错误的。

如果我们提交一个简单的例子，涉及一个名为:CAT_XXX 的单一分类变量，其中 XXX 是 1 到 100 之间的数字。如果我们构造两个目标变量；

• Target_2:如果 XXX%2==0，则为 0；如果 XXX%3==0，则为 1；否则为 2
• Target_3:如果 XXX%2==0，则为 0，否则为 1

我们可以构建一个简单的多头、多分类问题。在这种情况下，我得到的结果如下:

accuracy/Target_2: 1.0
accuracy/Target_3: 0.600072
accuracy_baseline/Target_3: 0.600072
auc/Target_3: 0.497585
auc_precision_recall/Target_3: 0.399472
average_loss/Target_2: 0.000260735
average_loss/Target_3: 0.673509
global_step: 11720
label/mean/Target_3: 0.399928
loss: 21.5472
prediction/mean/Target_3: 0.399628

你可以看到多类目标已经被完美预测，但二元问题是无意义的。问题是，binary_classification 头作为 DNNEstimator 的独立输入可以正常工作。只是当它被包裹在 multi_head 中时，事情似乎出了问题。

库汉

Answer 1

binary_classification_head() 的 logit 维数为“1”，因为两个类别的二元分类概率为 [alpha, 1-alpha]。

根据tensorflow binary_classification_head doc ，如果未给出 'label_vocabulary'，则标签必须是浮点张量，其值在区间 [0, 1] 内。但是，我通过将标签包装为 bool 值(您的建议)并将标签转换为整数或 float 来测试头部，它们给出了相同的结果。可能 TensorFlow 正在后台进行额外的转换。

由于 binary_classification_head() 适用于孤立的情况，而不是与 multi_head() 结合使用，因此我建议您尝试使用超参数(尤其是学习率)。请记住，您会通过头部组合更改损失的计算，因此您需要调整模型的超参数。也许一个好的开始是将 head_weights 与旧的超参数集一起传递到 multi_head() 中，并查看模型的 react (只是一个想法)。