python - 用于二进制分类的 TensorFlow

Question

我正在尝试适应 this MNIST example进行二分类。

但是当我的 NLABELS 从 NLABELS=2 更改为 NLABELS=1 时，损失函数总是返回 0(和准确度 1)。

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf

# Import data
mnist = input_data.read_data_sets('data', one_hot=True)
NLABELS = 2

sess = tf.InteractiveSession()

# Create the model
x = tf.placeholder(tf.float32, [None, 784], name='x-input')
W = tf.Variable(tf.zeros([784, NLABELS]), name='weights')
b = tf.Variable(tf.zeros([NLABELS], name='bias'))

y = tf.nn.softmax(tf.matmul(x, W) + b)

# Add summary ops to collect data
_ = tf.histogram_summary('weights', W)
_ = tf.histogram_summary('biases', b)
_ = tf.histogram_summary('y', y)

# Define loss and optimizer
y_ = tf.placeholder(tf.float32, [None, NLABELS], name='y-input')

# More name scopes will clean up the graph representation
with tf.name_scope('cross_entropy'):
    cross_entropy = -tf.reduce_mean(y_ * tf.log(y))
    _ = tf.scalar_summary('cross entropy', cross_entropy)
with tf.name_scope('train'):
    train_step = tf.train.GradientDescentOptimizer(10.).minimize(cross_entropy)

with tf.name_scope('test'):
    correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
    _ = tf.scalar_summary('accuracy', accuracy)

# Merge all the summaries and write them out to /tmp/mnist_logs
merged = tf.merge_all_summaries()
writer = tf.train.SummaryWriter('logs', sess.graph_def)
tf.initialize_all_variables().run()

# Train the model, and feed in test data and record summaries every 10 steps

for i in range(1000):
    if i % 10 == 0:  # Record summary data and the accuracy
        labels = mnist.test.labels[:, 0:NLABELS]
        feed = {x: mnist.test.images, y_: labels}

        result = sess.run([merged, accuracy, cross_entropy], feed_dict=feed)
        summary_str = result[0]
        acc = result[1]
        loss = result[2]
        writer.add_summary(summary_str, i)
        print('Accuracy at step %s: %s - loss: %f' % (i, acc, loss)) 
   else:
        batch_xs, batch_ys = mnist.train.next_batch(100)
        batch_ys = batch_ys[:, 0:NLABELS]
        feed = {x: batch_xs, y_: batch_ys}
    sess.run(train_step, feed_dict=feed)

我检查了 batch_ys(输入 y)和 _y 的尺寸，当 NLABELS 时它们都是 1xN 矩阵=1 所以问题似乎在此之前。也许与矩阵乘法有关？

我实际上在一个实际项目中遇到了同样的问题，所以任何帮助将不胜感激......谢谢!

Answer 1

原始 MNIST 示例使用 one-hot encoding表示数据中的标签:这意味着如果有 NLABELS = 10 类(如在 MNIST 中)，则目标输出为 [1 0 0 0 0 0 0 0 0 0] 用于 0 类，[0 1 0 0 0 0 0 0 0 0] 用于 1 类等。tf.nn.softmax()运算符将由 tf.matmul(x, W) + b 计算的 logits 转换为跨不同输出类的概率分布，然后将其与 y_ .

如果 NLABELS = 1，这就好像只有一个类，并且 tf.nn.softmax() 操作会计算 的概率>1.0 表示该类，导致交叉熵为 0.0，因为 tf.log(1.0) 是 0.0所有的例子。

您可以尝试(至少)两种方法进行二元分类:

1. 最简单的方法是为两个可能的类设置 NLABELS = 2，并将您的训练数据编码为 [1 0] 标签 0 和 [0 1] 用于标签 1。This answer有一个关于如何做到这一点的建议。

2. 您可以将标签保留为整数 0 和 1 并使用 tf.nn.sparse_softmax_cross_entropy_with_logits() ，如 this answer 中的建议.