machine-learning - 逻辑回归中的负对数似然维度

Question

(有更好的 Markdown 输入方式吗？)

我开始尝试学习正则化多类逻辑回归分类器的工作原理，但我陷入了第一步。 $m$ 类逻辑回归的负对数似然函数及其梯度由下式给出:

如果我有一个大小为 800K x 50 的特征矩阵 $\bf X$，$\bf W$、$\bf w_{k}$、$\的尺寸是多少bf x_{j}$，$n$ 和 $m$ 等于什么？

<小时/>

我认为 $m=50$, $n=800K$, $\bf W$ 也是一个 800K x 50 矩阵，$\bf w_{k}$ 是一列$\bf W$ 的大小为 800K x 1，$\bf x_{j}$ 是一行 $\bf X$，大小为 50 x 1。但显然我错了，因为如果这些向量的长度不等，我不能采用点积 $\bf w_{k}^{T}\bf x_{j}$ 。我误解了哪些部分？

Answer 1

您有 n=500k 个样本，每个样本由 50 个特征表示。因此，特征数为 50。您的问题中未提及类数 m(不是 50)。 $\bf W$ 是权重矩阵，可以看作 50 x m 矩阵。 $\bf w_{k}$ 是 $\bf W$ 的一列，它是大小为 50 x 1 的向量。关于 x 你是对的:$\bf x_{j}$ 是一行 $\bf X$，大小为 50 x 1。