machine-learning - CRF(条件随机场)可以用来标记整个句子吗？

Question

我正在尝试使用机器学习来标记句子(每个句子都有一个标签，我假设句子是相互独立的)。我认为线性 CRF 模型适合这种情况，但我有一些问题。

我尝试使用CRF++ (我看到的其他实现似乎具有类似的格式)。它使用句子作为输入，但输出标签分配给每个 token 。如何对整个句子使用单个标签？(我想到的黑客方法是分配一个重要的仅标记测试数据中的点并将其视为输出标签整个句子。)

如何使用不同长度的句子？训练配置需要指定采用哪些 token 分析当前 token 时的考虑因素。但一句话可以有大量或少量的标记，我想使用句子中的所有标记(不多或少)，利用全部信息。

来自this question看来我想做的事情是可能的(整个序列的单个标签)，但我不知道如何为此格式化训练数据。

Answer 1

我认为您使用了错误的工具来完成这项工作。要对整个句子进行分类，您可以尝试使用 Facebook 的 fasttext 之类的东西。

https://github.com/facebookresearch/fastText