machine-learning - 年龄的神经网络序数分类

Question

我创建了一个简单的神经网络(Python、Theano)，根据人们在不同商店的消费历史来估计他们的年龄。不幸的是，它不是特别准确。

网络不了解序数这一事实可能会损害准确性。对于网络来说，年龄分类之间没有关系。目前正在从softmax输出层中选择概率最高的年龄。

我考虑过将输出分类更改为每个年龄的加权概率的平均值。

例如，给定年龄概率:(10 岁:20%，20 岁:20%，30 岁:60%)

Rather than output: Age 30 (Highest probability)
Weighted Average: Age 24 (10*0.2+20*0.2+30*0.6 weighted average)

这个解决方案感觉不太理想。是否有更好的方法在神经网络中实现序数分类，或者是否有更好的机器学习方法可以实现？ (例如逻辑回归)

Answer 1

这个问题在之前的Kaggle competition中出现过(该线程引用了我在评论中提到的论文)。

这个想法是，假设你有 5 个年龄组，其中 0 < 1 < 2 < 3 < 4，而不是对它们进行 one-hot 编码并使用 softmax 目标函数，你可以将它们编码为 K-1 类，并且使用 sigmoid 目标。因此，作为示例，您的编码将是

[0] -> [0, 0, 0, 0]
[1] -> [1, 0, 0, 0]
[2] -> [1, 1, 0, 0]  
[3] -> [1, 1, 1, 0]
[4] -> [1, 1, 1, 1]

然后网络将学习顺序。