python - 如何使用语义自动标记一组单词？

Question

上下文是:我已经有了词簇(实际上是短语)，这些词是由应用于互联网搜索查询的 kmeans 产生的，并在搜索引擎的结果中使用公共(public) url 作为距离(如果我简化了很多)。

我想使用语义自动标记集群，换句话说，我想提取围绕一组一起考虑的短语的主要概念。

例如 - 对不起我的例子 - 如果我有以下一堆查询:['我丈夫袭击了我'，'他被警察逮捕了'，'审判仍在进行'，'我丈夫会因为骚扰我而入狱吗？','免费律师']我的研究涉及家庭暴力，但显然该集群关注的是问题的法律方面，因此标签可以是“合法”等。

我是 NPL 的新手，但我必须明确表示我不想使用 POS 标记来提取单词(或者至少这不是预期的最终结果，但可能是必要的初步步骤)。

我阅读了关于 Wordnet 的语义消歧，我认为这可能是一个很好的轨道，但我不想计算两个查询之间的相似性(因为集群是输入)，也不想获得一个选定单词的定义，这要归功于整串单词提供的上下文(在这种情况下选择哪个单词？)。我想用整串词来提供上下文(可能使用同义词集或分类与 wordnet 的 xml 结构)，然后用一个或几个词概括上下文。

有什么想法吗？我可以使用 R 或 python，我阅读了一些关于 nltk 的内容，但我找不到在我的上下文中使用它的方法。

Answer 1

您最好的选择可能是手动标记集群，尤其是在集群很少的情况下。即使对于人类来说，这也是一个很难解决的问题，因为您可能需要领域专家。任何声称他们可以自动且可靠地做到这一点的人(在一些非常有限的领域除外)可能正在经营一家初创公司并试图获得您的业务。

另外，自己浏览集群也会有好处。 1)您可能会发现您的簇数(k 参数)错误，或者输入中有太多垃圾无法开始。 2) 您将定性地了解正在谈论的内容以及数据中有哪些主题(在查看数据之前您可能无法知道)。因此，如果您追求的是定性洞察力，请手动标记。如果您也需要定量结果，则可以在手动标记的主题上训练分类器以 1) 预测其余集群的主题，或 2) 以供将来使用，如果您重复聚类，获取新数据，...