tensorflow - 联结主义时间分类 (CTC) 空白标签

Question

我正在尝试在我的网络中使用 CTC 损失函数，但不太明白何时将“空白”标签作为标签提供。

我将其用于手势识别，如Molchanov所述。 ，但是让我感到困惑的是还有一个“无手势”。

在tensorflow文档中，描述了

The inputs Tensor's innermost dimension size, num_classes, represents num_labels + 1 classes, where num_labels is the number of true labels, and the largest value (num_classes - 1) is reserved for the blank label.

如果我现在使用“空白”标签来表示没有手势，则由于错误，我的训练受到限制

Saw a non-null label (index >= num_classes - 1) following a null label

我假设空标签与空白标签相同。

问题是，当我想提供以没有手势(映射到空标签)开始然后有手势的数据时，我得到的正是这个错误。我可以通过在现有标签旁边添加两个标签来避免这种情况，一个用于“无手势”，一个用于“空白标签/空标签”。然后我只提供“无手势”标签，但从不提供“空白”标签，但这似乎不太正确。

所以我的问题是，我应该使用“blank/null”标签做什么？

我可以想象在语言处理中，你通常会使用句子结尾的点作为“空”标签？但没有结束手势，因为它是一个连续的流。

谢谢

Answer 1

编辑我强烈推荐阅读这篇文章distill article 。“ε(空白)标记不对应于任何内容，只是从输出中删除。”它用于“中断”重复标记的合并。

空白标签充当两个类之间的过渡状态。

Read more

为了回答我的问题本身，您不会将空白标签分配给任何内容，但仍将其作为现有类。就我而言，我添加了两个标签，一个用于无手势类别，一个用于空白。

(至少我就是这样做的，并得到了一些不错的结果)